这一档模型的参数意味着什么
此档模型具备 1048576 token 的上下文长度,允许在单次调用中处理大量输入信息。引用上限为 1000000 token,这意味着模型在生成回复时,可引用的外部召回内容总计不超过此预算。模型支持图片输入,可处理多模态信息;同时支持工具调用,能够执行外部动作以增强交互能力。这些特性共同为构建复杂的 AI Agent 提供了坚实基础,尤其适合需要处理大量文本和多源信息整合的场景。
配 openGauss 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
OPENGAUSS_URL | postgresql://user:password@host:port/database | 数据库连接字符串,确保 FastGPT 能够正确连接 openGauss 实例 |
ef_construction | 100 | 索引构建参数,影响索引质量和构建速度,此值在召回质量与构建耗时间提供良好平衡 |
ef_search | 64 | 搜索参数,影响查询召回的准确性和速度,此值在召回质量与查询耗时间提供良好平衡 |
m | 32 | HNSW 索引参数,决定图中每个节点的最大邻居数,此值有助于平衡索引大小和查询性能 |
recall_chunk_size | 512 | 每个召回段的平均字符数,结合模型引用上限估算召回条数 |
max_recall_chunks | 150 | 单次召回最大段落数,防止超出模型上下文或引用上限 |
这两者互相约束的地方
模型上下文长度与 openGauss 召回结果的集成需要精细考量。召回条数与每段文本长度的乘积必须在模型 1048576 token 的上下文长度预算之内。引用上限是按 token 计量的,而 openGauss 返回的是按条计数的段落。当每段文本较短时,模型可能会因达到最大召回条数而停止引用;当每段文本较长时,则可能因引用内容总 token 数达到 1000000 token 的引用上限而停止。openGauss 的 ef_construction 和 ef_search 等索引参数调大,可以提高召回的准确性,但同时会增加索引构建时间与查询耗时。对模型而言,更精准的召回意味着其在有限的引用上限内能获得更高质量的输入信息,从而可能生成更优质的回复。
容易做错的三处
- 日志显示
Database connection failed: Timeout:OPENGAUSS_URL配置的数据库地址或端口不正确,导致 FastGPT 无法建立连接。 - RAG 召回内容为空,但知识库中明明有相关内容:openGauss 索引未正确构建,或
ef_search值设置过低,导致无法召回有效结果。 - 模型回复质量不佳,且界面显示
Context limit exceeded:recall_chunk_size或max_recall_chunks设置过大,导致召回内容超出模型的上下文长度限制。
怎么确认配好了
- 在 FastGPT 知识库管理界面,上传文档并检查向量化任务状态,确保所有文档均已成功向量化并存入 openGauss。
- 使用 FastGPT 的调试模式,针对特定查询进行 RAG 测试,观察召回的段落是否与预期相关,并核对召回条数。
- 监控 openGauss 数据库的 CPU、内存和 I/O 使用率,确保在负载下性能稳定,无异常波动。
- 通过 FastGPT 的模型调用日志,检查每次模型调用的
prompt_tokens和completion_tokens,确认引用内容的 token 数未超过 1000000 token 的引用上限。