模型指南官方文档4 分钟阅读模型组合页

OpenAI 1000K 上下文 这一档模型配 openGauss 的配置口径

上下文长度 1000000 意味着模型单次处理的输入内容上限极高,能够容纳大量历史对话或检索到的信息。单次最大输出未标注,但通常允许生成较长的回答,为复杂的查询提供详尽解释。引用上限 1000000 是模型用于引用内容的令牌预算,它限制了模型在生成回答时可以参考的检索内容总量。段落条数由检索侧的返回

这一档模型的参数意味着什么

上下文长度 1000000 意味着模型单次处理的输入内容上限极高,能够容纳大量历史对话或检索到的信息。单次最大输出未标注,但通常允许生成较长的回答,为复杂的查询提供详尽解释。引用上限 1000000 是模型用于引用内容的令牌预算,它限制了模型在生成回答时可以参考的检索内容总量。段落条数由检索侧的返回条数决定,两者是不同的量。图片输入为 true 使得模型可以直接处理图像信息,支持多模态应用。工具调用为 true 表示模型具备与外部工具交互的能力,可以执行特定操作或获取实时数据。

配 openGauss 要定哪些

配置项建议取法这样取的依据
OPENGAUSS_URLpostgresql://user:password@host:port/databaseFastGPT 连接 openGauss 实例的入口,确保可访问性。
ef_construction100构建 HNSW 索引时的邻居数量,影响索引质量和构建速度。
ef_search64搜索 HNSW 索引时的邻居数量,影响搜索召回率和速度。
m32HNSW 索引中每层最大连接数,平衡查询效率与内存占用。
召回条数前 5-10 条兼顾召回质量与模型上下文预算,避免不必要的冗余。
单段最大长度800-1200 字符确保每段内容信息密度适中,减少模型处理负担。

这两者互相约束的地方

模型上下文预算与向量库召回内容之间存在直接制约。召回条数与每段长度的乘积不能超过模型 1000000 的上下文预算。引用上限按 token 计,向量库返回的按条数计,谁先触顶取决于每段内容的平均 token 数量。如果每段内容较长,引用上限可能先达到;如果每段内容较短,召回条数可能先达到。当 openGauss 的索引参数 ef_construction 或 ef_search 调大时,向量搜索的召回率和精度通常会提高,这意味着模型更有机会获得高质量的相关信息。这使得模型在处理复杂查询时,能够从更精准的检索结果中提取信息,从而生成更准确、更相关的回答。

容易做错的三处

  • 日志显示 Connection refused 或 Authentication failed:OPENGAUSS_URL 配置不正确,导致 FastGPT 无法连接到 openGauss 数据库实例。
  • 模型返回内容与预期引用内容关联度低:ef_search 参数设置过小,导致向量搜索召回的相关性不足。
  • 检索结果条数远低于预期,或模型回答内容不完整:引用上限或上下文长度被检索段落的总 token 数提前耗尽,导致部分相关内容未能被模型处理。

怎么确认配好了

  • 在 FastGPT 知识库管理界面,执行一次测试检索,检查返回的文档内容是否相关且完整。
  • 通过观察模型实际生成的回答,评估其对引用内容的运用情况,确保引用内容被有效整合。
  • 监控 openGauss 数据库的查询日志,确认向量搜索操作的执行情况和响应时间,对比 ef_search 和 ef_construction 调整前后的性能变化。
  • 在 FastGPT 的模型配置中,根据实际测试结果和业务需求,调整召回条数和单段最大长度,使得引用上限被有效利用。

参考资料