这一档模型的参数意味着什么
这一档模型具备 200,000 token 的上下文长度，意味着单次请求可以处理极大量的信息输入，为复杂的 RAG 场景提供了充足的文本空间。其中，120,000 token 的引用上限设定了知识库内容可被模型直接引用的最大量，这直接影响了召回策略的设计。图片输入能力的开启，使得多模态应用成为可能，支持在对话中融合视觉信息。工具调用功能则允许模型在需要时执行预设动作，扩展了其处理复杂任务的能力，但单次最大输出未标注，需要根据实际业务场景评估回答长度。
配 openGauss 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
OPENGAUSS_URL | postgresql://user:password@host:port/database | FastGPT 连接 openGauss 数据库的连接字符串，确保可达性。 |
ef_construction | 128 | HNSW 索引构建时的邻居搜索参数，影响索引质量和构建速度，适中值兼顾效率与精度。 |
ef_search | 64 | HNSW 索引查询时的邻居搜索参数，影响召回精度，应不小于 m * 2。 |
m | 32 | HNSW 索引图中每个节点的最大连接数，影响索引大小和搜索性能。 |
| 召回条数 | 10–15 | 结合模型引用上限与单段长度，避免超出模型处理能力。 |
| 单段文本长度 | 800–1200 字符 | 确保每段信息完整，且能有效利用模型上下文。 |
这两者互相约束的地方
模型 200,000 token 的上下文长度与 openGauss 向量库的召回策略紧密相关。召回条数与每段文本长度的乘积，加上系统提示词等其他输入，必须严格控制在 200,000 token 的总预算内。特别是 120,000 token 的引用上限，决定了向量库返回的有效段落总长度。如果向量库返回的条数过多或每段过长，超出此上限，模型将无法完全利用所有召回内容。openGauss 索引参数 ef_construction 和 ef_search 的调整，会直接影响向量搜索的精度和速度。当这些参数调大时，通常能获得更精准的召回结果，这对于需要模型从海量知识中精确提取信息的场景更为有利，但同时也会增加索引构建和查询的资源消耗。
容易做错的三处
- 日志显示“Input token limit exceeded: 200000”，原因在于召回段落总长度加上系统提示等超过了模型上下文上限。
- 模型回答中引用信息不全或偏差，原因可能是
ef_search参数设置过小，导致向量搜索召回精度不足。 - 查询等待时间过长，可能出现连接超时，原因可能是
OPENGAUSS_URL配置不正确或 openGauss 数据库负载过高。
怎么确认配好了
- 在 FastGPT 界面上传测试文档后，观察文档切片后的平均段落长度，确保符合预期。
- 进行多次查询测试，检查模型回答中引用的知识点，核对是否与向量库召回内容一致且完整。
- 监控 openGauss 数据库的 CPU、内存和 I/O 使用率，确保在进行向量搜索时资源消耗在可接受范围内。
- 在 FastGPT 日志中查找与 openGauss 相关的连接或查询错误，确保数据库交互顺畅。