模型指南官方文档5 分钟阅读模型组合页

Qwen 128K 上下文 这一档模型配 OceanBase 的配置口径

Qwen 128K 上下文模型档位,其 128000 的上下文长度,意味着单次输入模型可承载的文本总量非常庞大,为召回大量相关知识片段提供了空间。引用上限 100000 决定了知识库在生成回答时,模型可引用的段落数量上限,这直接影响了 RAG 检索结果的利用深度。此档模型不具备图片输入能力,因此不适

这一档模型的参数意味着什么

Qwen 128K 上下文模型档位,其 128000 的上下文长度,意味着单次输入模型可承载的文本总量非常庞大,为召回大量相关知识片段提供了空间。引用上限 100000 决定了知识库在生成回答时,模型可引用的段落数量上限,这直接影响了 RAG 检索结果的利用深度。此档模型不具备图片输入能力,因此不适用于处理视觉信息相关的 RAG 应用。工具调用功能则表明模型能够与外部工具进行交互,扩展其解决复杂问题的能力,例如执行数据库查询或 API 调用。

配 OceanBase 要定哪些

配置项建议取法这样取的依据
OCEANBASE_URLob://user:pass@host:port/db指定 OceanBase 连接信息,确保 FastGPT 能够正确访问向量库服务,协议为 MySQL。
ef_construction100–200影响构建索引时的邻居数量,决定索引质量与构建速度的平衡,数值越大召回准确率越高。
m=1616影响 HNSW 索引中每个节点的最大连接数,控制搜索效率与内存消耗,此参数直接映射 OceanBase 的向量索引配置。
召回条数前 20–30 条在模型引用上限 100000 的前提下,保障召回内容的多样性,同时避免不必要的计算开销。
单段最大长度500–800 字符结合模型上下文长度,确保单次召回内容能充分利用模型上下文,避免截断关键信息。
SEEKDB_URLseekdb://...SEEKDB 与 OceanBase 共享控制器,配置口径与 OCEANBASE_URL 类似,用于指定 SEEKDB 实例。

这两者互相约束的地方

模型上下文长度是决定召回策略的关键因素。召回条数与每段长度的乘积,必须严格控制在 128000 的上下文长度预算之内,否则模型将无法处理超出部分。引用上限 100000 与向量库返回条数之间存在制约关系:实际生效的将是二者中的较小值。这意味着即使向量库返回了大量结果,模型也只会引用上限范围内的段落。OceanBase 索引参数 ef_construction 和 m=16 调大后,向量搜索的准确率通常会提升,从而向模型提供更相关的知识片段。但这也会增加索引构建和搜索的计算开销,需要与 FastGPT 的响应时间要求进行权衡。

容易做错的三处

  • 连接失败,日志显示 ERROR 1045 (28000): Access denied for user。原因:OCEANBASE_URL 中的用户名或密码不正确。
  • 召回结果为空或不相关,界面显示知识库无匹配内容。原因:OceanBase 向量索引未正确构建,或 ef_construction 参数设置过低导致召回质量差。
  • 模型回答过于简短,且未引用知识库内容。原因:模型引用上限虽然高,但实际配置的召回条数过少,或者知识库分段策略导致单段长度过短,无法提供足够信息。

怎么确认配好了

  • 检查 FastGPT 系统日志,确认 OceanBase 连接成功,无 ERROR 或 WARN 级别的数据库连接异常。
  • 在 FastGPT 知识库管理界面,上传文档并执行一次问答测试,观察召回内容是否与提问高度相关。
  • 模拟高并发查询,监控 OceanBase 实例的 CPU、内存和 IO 使用率,确保在可接受范围内。
  • 针对不同的查询,通过 FastGPT 的调试功能检查模型实际引用的知识片段数量,验证是否符合预期。

参考资料