这一档模型的参数意味着什么
上下文长度 1000000 意味着模型单次处理的输入内容上限极高,能够容纳大量历史对话或检索到的信息。单次最大输出未标注,但通常允许生成较长的回答,为复杂的查询提供详尽解释。引用上限 1000000 是模型用于引用内容的令牌预算,它限制了模型在生成回答时可以参考的检索内容总量。段落条数由检索侧的返回条数决定,两者是不同的量。图片输入为 true 使得模型可以直接处理图像信息,支持多模态应用。工具调用为 true 表示模型具备与外部工具交互的能力,可以执行特定操作或获取实时数据。
配 openGauss 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
OPENGAUSS_URL | postgresql://user:password@host:port/database | FastGPT 连接 openGauss 实例的入口,确保可访问性。 |
ef_construction | 100 | 构建 HNSW 索引时的邻居数量,影响索引质量和构建速度。 |
ef_search | 64 | 搜索 HNSW 索引时的邻居数量,影响搜索召回率和速度。 |
m | 32 | HNSW 索引中每层最大连接数,平衡查询效率与内存占用。 |
| 召回条数 | 前 5-10 条 | 兼顾召回质量与模型上下文预算,避免不必要的冗余。 |
| 单段最大长度 | 800-1200 字符 | 确保每段内容信息密度适中,减少模型处理负担。 |
这两者互相约束的地方
模型上下文预算与向量库召回内容之间存在直接制约。召回条数与每段长度的乘积不能超过模型 1000000 的上下文预算。引用上限按 token 计,向量库返回的按条数计,谁先触顶取决于每段内容的平均 token 数量。如果每段内容较长,引用上限可能先达到;如果每段内容较短,召回条数可能先达到。当 openGauss 的索引参数 ef_construction 或 ef_search 调大时,向量搜索的召回率和精度通常会提高,这意味着模型更有机会获得高质量的相关信息。这使得模型在处理复杂查询时,能够从更精准的检索结果中提取信息,从而生成更准确、更相关的回答。
容易做错的三处
- 日志显示
Connection refused或Authentication failed:OPENGAUSS_URL配置不正确,导致 FastGPT 无法连接到 openGauss 数据库实例。 - 模型返回内容与预期引用内容关联度低:
ef_search参数设置过小,导致向量搜索召回的相关性不足。 - 检索结果条数远低于预期,或模型回答内容不完整:引用上限或上下文长度被检索段落的总 token 数提前耗尽,导致部分相关内容未能被模型处理。
怎么确认配好了
- 在 FastGPT 知识库管理界面,执行一次测试检索,检查返回的文档内容是否相关且完整。
- 通过观察模型实际生成的回答,评估其对引用内容的运用情况,确保引用内容被有效整合。
- 监控 openGauss 数据库的查询日志,确认向量搜索操作的执行情况和响应时间,对比
ef_search和ef_construction调整前后的性能变化。 - 在 FastGPT 的模型配置中,根据实际测试结果和业务需求,调整召回条数和单段最大长度,使得引用上限被有效利用。