模型指南官方文档4 分钟阅读模型组合页

StepFun 256K 上下文 这一档模型配 openGauss 的配置口径

StepFun 这一档模型具备 256000 token 的上下文长度(`maxContext`),这意味着单次对话中模型能够处理的输入信息总量非常庞大,为集成大量召回内容提供了空间。引用上限(`quoteMaxToken`)为 240000 token,这是模型用于引用检索内容的专用预算。模型会将

这一档模型的参数意味着什么

StepFun 这一档模型具备 256000 token 的上下文长度(maxContext),这意味着单次对话中模型能够处理的输入信息总量非常庞大,为集成大量召回内容提供了空间。引用上限(quoteMaxToken)为 240000 token,这是模型用于引用检索内容的专用预算。模型会将检索到的内容整合到这个预算内,以支持生成回答。工具调用能力允许模型与外部工具进行交互,扩展其处理复杂任务的能力。图片输入能力则使得模型可以直接理解并处理图像信息。

配 openGauss 要定哪些

配置项建议取法这样取的依据
OPENGAUSS_URLpostgresql://user:password@host:port/db连接到 openGauss 数据库实例
ef_construction100–200影响索引构建时的图拓扑质量,决定召回精度
ef_search64–128影响搜索时的邻居遍历范围,决定查询性能
m = 3232HNSW 图中每个节点的最大连接数,影响索引大小和搜索效率
chunk_size800–1200 字符文本切片粒度,影响单段信息密度和召回匹配度
top_k前 10–20 条向量库返回的段落数量,平衡召回量与模型上下文开销

这两者互相约束的地方

模型上下文长度和 openGauss 返回的召回条数之间存在直接制约。召回条数乘以每段内容的平均长度,必须在模型总上下文预算之内,以避免截断或信息丢失。引用上限是一个 token 预算,它限定了模型可以用于引用检索内容的 token 总量。openGauss 向量库返回的则是独立的段落条数。当每段内容较短时,模型可能在引用了大量条目后才触及 token 上限;而当每段内容较长时,即使召回条数不多,也可能迅速耗尽引用 token 预算。openGauss 的 ef_construction 和 ef_search 等索引参数调大,通常能提升召回的精确性,这意味着模型可能接收到更相关的少数条目,从而在引用上限内更好地利用信息。

容易做错的三处

  • 模型返回 Context window exceeded 错误码,原因是向量库返回的段落总长度超过了模型的上下文长度。
  • 检索结果为空,原因可能是 OPENGAUSS_URL 配置不正确,导致无法连接到 openGauss 数据库。
  • 返回内容相关性差,原因是 openGauss 的 ef_search 参数设置过低,导致搜索范围不足。

怎么确认配好了

  • 检查 FastGPT 后台日志,确认 OPENGAUSS_URL 连接成功且无报错信息。
  • 在 FastGPT 界面进行一次简单的问答测试,观察模型是否能正确引用知识库中的内容,并检查引用的段落是否与检索到的内容一致。
  • 通过 FastGPT 的调试界面,查看每次检索的 top_k 召回条数和每条内容的 token 长度,计算总 token 数是否在模型的引用上限之内。
  • 在 openGauss 数据库中,通过查询统计信息,确认向量索引(HNSW)的 ef_construction 和 ef_search 参数是否按预期生效。

参考资料