模型指南官方文档4 分钟阅读模型组合页

Siliconflow 32K 上下文 这一档模型配 openGauss 的配置口径

Siliconflow 提供的这档模型,如 `deepseek-ai/DeepSeek-V2.5`,其 32000 的上下文长度(`maxContext`)意味着模型单次请求能够处理的输入总 token 量。这直接影响了可以传入多少召回文本、历史对话以及系统指令。引用上限(`quoteMaxToke

这一档模型的参数意味着什么

Siliconflow 提供的这档模型,如 deepseek-ai/DeepSeek-V2.5,其 32000 的上下文长度(maxContext)意味着模型单次请求能够处理的输入总 token 量。这直接影响了可以传入多少召回文本、历史对话以及系统指令。引用上限(quoteMaxToken)同样为 32000,这表示模型在生成回答时,用于引用的内容总 token 量不能超过此限制。工具调用能力支持模型在执行复杂任务时与外部工具交互,而图片输入能力则允许模型处理视觉信息,拓宽了应用场景。

配 openGauss 要定哪些

配置项建议取法这样取的依据
OPENGAUSS_URLpostgresql://user:password@host:port/dbname连接 openGauss 数据库实例的必要参数,包含认证信息。
ef_construction100–200索引构建时图的连接数,影响索引质量和构建速度。
ef_search50–100搜索时遍历的节点数,影响搜索召回率和查询延迟。
m32HNSW 索引中每个节点的最大连接数,影响索引结构。
召回条数前 8–15 条需根据单段平均 token 数和模型引用上限综合考量。
单段最大字符数300–500 字符控制每段召回内容的粒度,避免单段过长。

这两者互相约束的地方

模型 32000 的上下文长度,对从 openGauss 召回的文本总量构成了硬性约束。召回条数与每段文本长度的乘积,加上系统指令和历史对话的 token 量,必须小于此上下文长度。引用上限 32000 token,是模型在回答中实际引用内容的总 token 预算。openGauss 返回的是固定条数的段落,而每段的 token 数量是可变的。因此,是总召回条数先触及引用上限,还是单段内容过长导致总 token 数超限,取决于具体的数据分段策略。当 openGauss 的索引参数 ef_construction 或 ef_search 被调大时,通常意味着召回的精度或召回率会提升,但同时索引构建时间或查询延迟可能增加。这需要结合模型对召回质量的敏感度以及实际业务对延迟的要求进行权衡。

容易做错的三处

  • 检索结果为空或返回条数过少,原因可能是 openGauss 数据库连接字符串 OPENGAUSS_URL 配置错误,导致无法连接或认证失败。
  • 模型回答中引用的内容不完整或被截断,原因可能是召回的文本总 token 数超过了模型的 quoteMaxToken 限制,导致模型在引用时进行了截断。
  • RAG 流程响应时间过长,原因可能是 openGauss 的 ef_search 参数设置过高,导致向量检索耗时增加,或索引 m 值过大影响查询效率。

怎么确认配好了

  • 检查 FastGPT 后台日志,确认 openGauss 数据库连接成功,无 connection refused 或 authentication failed 等错误信息。
  • 通过 FastGPT 的调试界面,观察每次 RAG 流程中传递给模型的召回文本总 token 数,确保其在模型上下文长度和引用上限之内。
  • 在 FastGPT 中进行多次提问测试,观察模型回答中引用内容的准确性和完整性,并根据业务需求调整 openGauss 的 ef_construction 和 ef_search 参数,直到召回质量满足要求。

参考资料