模型指南官方文档4 分钟阅读模型组合页

Qwen 32K 上下文 这一档模型配 openGauss 的配置口径

Qwen 32K 上下文模型档位,其上下文长度 32000 token 决定了单次交互中模型能处理的输入与输出总和。引用上限 30000 token 则限定了知识库召回内容被模型引用的最大长度,直接影响了知识库的召回策略。图片输入为 false 意味着该档模型不支持多模态图像输入,在构建应用时无需考

这一档模型的参数意味着什么

Qwen 32K 上下文模型档位,其上下文长度 32000 token 决定了单次交互中模型能处理的输入与输出总和。引用上限 30000 token 则限定了知识库召回内容被模型引用的最大长度,直接影响了知识库的召回策略。图片输入为 false 意味着该档模型不支持多模态图像输入,在构建应用时无需考虑图像处理链路。工具调用为 true 则表明模型具备调用外部工具的能力,可用于实现复杂业务逻辑。

配 openGauss 要定哪些

配置项建议取法这样取的依据
OPENGAUSS_URLpostgresql://user:password@host:port/databaseopenGauss 的标准连接字符串格式,确保 FastGPT 能正确连接到数据库。
ef_construction64HNSW 索引构建参数,影响索引质量与构建速度。建议从 64 开始,根据实际数据量和查询需求调整。
ef_search32HNSW 索引查询参数,影响查询召回率与查询速度。建议从 32 开始,平衡召回精度与查询耗时。
m32HNSW 索引的邻居数量参数,影响索引的内存占用和查询性能。
召回条数8结合模型引用上限和单段文本长度,确保召回内容能被充分利用且不超过模型上下文。
单段文本长度800–1200 字符经验值,旨在平衡语义完整性与模型上下文占用。

这两者互相约束的地方

Qwen 32K 上下文模型与 openGauss 向量库的配合,核心在于上下文长度的管理。模型引用上限 30000 token 意味着知识库召回的总内容不能超过此限制。若每次召回 8 条,每条文本长度为 1000 字符,总计 8000 字符,通常远低于 30000 token 的引用上限,留有足够空间给用户输入和模型生成。此时,openGauss 向量库的召回条数设定将直接生效。索引参数如 ef_construction 和 ef_search 的调大,会提升召回的准确性,但同时可能增加索引构建时间和查询延迟。在 Qwen 32K 上下文模型中,高质量的召回更有助于模型理解并生成准确回复。

容易做错的三处

  • 日志中出现 connection refused 错误:OPENGAUSS_URL 配置不正确,导致 FastGPT 无法连接 openGauss 数据库。
  • 模型回复质量偏低,但召回内容相关性良好:ef_search 设置过低,导致向量检索未能充分召回高质量的近邻。
  • 知识库查询超时,但数据量并不大:ef_construction 设置过高,导致 HNSW 索引构建耗时过长,或查询时 ef_search 设置过高,导致查询计算量过大。

怎么确认配好了

  • 检查 FastGPT 日志,确认没有 openGauss 连接相关的错误信息。
  • 在 FastGPT 知识库管理界面,上传文档并进行向量化,观察向量化任务是否成功完成。
  • 执行 FastGPT 的对话测试,查看模型是否能正确引用知识库内容,并根据引用内容判断召回条数和单段文本长度是否合理。
  • 监控 openGauss 数据库的 CPU、内存和 I/O 使用率,确保在负载高峰期仍能保持稳定性能,并以此为依据调整 ef_construction 和 ef_search 的阈值。

参考资料