这一档模型的参数意味着什么
Qwen 32K 上下文模型档位,其上下文长度 32000 token 决定了单次交互中模型能处理的输入与输出总和。引用上限 30000 token 则限定了知识库召回内容被模型引用的最大长度,直接影响了知识库的召回策略。图片输入为 false 意味着该档模型不支持多模态图像输入,在构建应用时无需考虑图像处理链路。工具调用为 true 则表明模型具备调用外部工具的能力,可用于实现复杂业务逻辑。
配 openGauss 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
OPENGAUSS_URL | postgresql://user:password@host:port/database | openGauss 的标准连接字符串格式,确保 FastGPT 能正确连接到数据库。 |
ef_construction | 64 | HNSW 索引构建参数,影响索引质量与构建速度。建议从 64 开始,根据实际数据量和查询需求调整。 |
ef_search | 32 | HNSW 索引查询参数,影响查询召回率与查询速度。建议从 32 开始,平衡召回精度与查询耗时。 |
m | 32 | HNSW 索引的邻居数量参数,影响索引的内存占用和查询性能。 |
| 召回条数 | 8 | 结合模型引用上限和单段文本长度,确保召回内容能被充分利用且不超过模型上下文。 |
| 单段文本长度 | 800–1200 字符 | 经验值,旨在平衡语义完整性与模型上下文占用。 |
这两者互相约束的地方
Qwen 32K 上下文模型与 openGauss 向量库的配合,核心在于上下文长度的管理。模型引用上限 30000 token 意味着知识库召回的总内容不能超过此限制。若每次召回 8 条,每条文本长度为 1000 字符,总计 8000 字符,通常远低于 30000 token 的引用上限,留有足够空间给用户输入和模型生成。此时,openGauss 向量库的召回条数设定将直接生效。索引参数如 ef_construction 和 ef_search 的调大,会提升召回的准确性,但同时可能增加索引构建时间和查询延迟。在 Qwen 32K 上下文模型中,高质量的召回更有助于模型理解并生成准确回复。
容易做错的三处
- 日志中出现
connection refused错误:OPENGAUSS_URL配置不正确,导致 FastGPT 无法连接 openGauss 数据库。 - 模型回复质量偏低,但召回内容相关性良好:
ef_search设置过低,导致向量检索未能充分召回高质量的近邻。 - 知识库查询超时,但数据量并不大:
ef_construction设置过高,导致 HNSW 索引构建耗时过长,或查询时ef_search设置过高,导致查询计算量过大。
怎么确认配好了
- 检查 FastGPT 日志,确认没有 openGauss 连接相关的错误信息。
- 在 FastGPT 知识库管理界面,上传文档并进行向量化,观察向量化任务是否成功完成。
- 执行 FastGPT 的对话测试,查看模型是否能正确引用知识库内容,并根据引用内容判断召回条数和单段文本长度是否合理。
- 监控 openGauss 数据库的 CPU、内存和 I/O 使用率,确保在负载高峰期仍能保持稳定性能,并以此为依据调整
ef_construction和ef_search的阈值。