模型指南官方文档3 分钟阅读模型组合页

Qwen 128K 上下文 这一档模型配 OceanBase 的配置口径

`qwen-coder-turbo` 模型具备 128000 的上下文长度,决定了单次请求中模型能处理的输入文本总量。引用上限为 50000,这是模型在生成回答时,用于引用知识库内容的 token 预算。段落条数由向量检索结果决定,与引用上限是两个独立的限制维度。该模型不支持图片输入,也无法进行工具

这一档模型的参数意味着什么

qwen-coder-turbo 模型具备 128000 的上下文长度,决定了单次请求中模型能处理的输入文本总量。引用上限为 50000,这是模型在生成回答时,用于引用知识库内容的 token 预算。段落条数由向量检索结果决定,与引用上限是两个独立的限制维度。该模型不支持图片输入,也无法进行工具调用。

配 OceanBase 要定哪些

配置项建议取法这样取的依据
OCEANBASE_URLob://user:pass@host:port/database连接 OceanBase 数据库的必要信息,确保数据库可访问。
ef_construction32索引构建参数,影响索引质量与构建速度,取值越大索引质量越好,但构建越慢。
m16HNSW 索引参数,控制每个节点的最大连接数,影响召回精度和查询速度。
召回条数5–10 条经验值,权衡召回质量与模型上下文限制。
每段最大字符数800–1200 字符确保单段内容丰富,同时避免单段过长导致上下文溢出。
consistency_levelstrong保证数据强一致性,适用于对数据准确性要求高的场景。

这两者互相约束的地方

召回条数与每段内容长度共同决定了知识库内容占据模型的上下文预算。引用上限按 token 计,向量库返回的按条数计,模型会根据实际召回内容的 token 数量来判断是否触及引用上限。当单段内容较长时,引用上限更容易触及;当单段内容较短时,召回条数更容易触及。OceanBase 的索引参数 ef_construction 和 m 调大后,向量检索的精度会提高,可能带来更相关的召回结果,进而提升模型回答的准确性。不过,索引参数的调整也会影响索引的构建时间和查询性能,需要根据实际业务场景进行权衡。

容易做错的三处

  • 日志显示 Error 500: Token limit exceeded:原因可能是召回内容总 token 数超过了模型的上下文长度或引用上限。
  • 界面显示知识库内容未被引用:原因可能是向量召回结果不相关,或者召回条数过少导致模型无法找到有效引用。
  • 查询返回结果为空:原因可能是 OCEANBASE_URL 配置错误,导致无法连接 OceanBase 数据库。

怎么确认配好了

  • 在 FastGPT 控制台知识库页面,上传测试文档并检查是否能正常切片入库。
  • 使用 FastGPT 的调试工具,输入查询语句,观察向量召回结果的条数和相关性是否符合预期。
  • 通过 FastGPT 的对话界面,向模型提问,验证模型是否能正确引用知识库内容,并检查回答长度是否满足要求。
  • 检查 OceanBase 数据库的日志,确认是否有异常连接或查询错误。

参考资料