这一档模型的参数意味着什么
o3-mini 模型档位拥有 200000 tokens 的上下文长度,这意味着在单次交互中可以处理大量信息输入,为复杂查询和多轮对话提供了充足空间。引用上限 120000 tokens 决定了知识库召回内容的最大可用容量,直接影响了模型能从外部知识中获取信息的广度。单次最大输出未标注,表示模型输出长度主要受限于上下文总长度和具体应用场景。工具调用能力为 true,支持通过外部工具扩展模型功能,实现更复杂的任务流。图片输入为 false,表示该模型不直接处理图像信息。
配 openGauss 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
OPENGAUSS_URL | postgresql://user:password@host:port/database | FastGPT 连接 openGauss 数据库的标准连接字符串格式。 |
ef_construction | 64 | 影响索引构建时的图遍历深度,值越大索引质量越高,搜索精度和构建时间增加。 |
ef_search | 32 | 影响查询时的图遍历深度,值越大搜索精度越高,但查询延迟可能增加。 |
m | 32 | HNSW 索引中每个节点的最大邻居数量,影响索引大小和搜索性能。 |
recall_top_k | 前 5 条 | 结合模型引用上限,控制从 openGauss 召回的向量数量。 |
chunk_size | 800–1200 字符 | 知识库分段的建议长度,需与模型上下文长度匹配,避免单一分段过长。 |
这两者互相约束的地方
o3-mini 模型的 200000 tokens 上下文长度是核心约束。知识库召回内容的总量(召回条数乘以每段长度)必须严格控制在此范围内,以确保模型能完整处理所有输入。引用上限 120000 tokens 进一步限制了知识库部分能占用的上下文份额。openGauss 返回的向量条数 recall_top_k 必须小于或等于模型实际能够引用的最大条数。openGauss 的 ef_construction 和 ef_search 参数调高会提升向量召回的准确性,这意味着模型在有限的 recall_top_k 范围内能获得更高质量的知识段落,从而在不增加上下文占用的前提下,提升回答的相关性。
容易做错的三处
- 接口返回
400 Bad Request且日志显示context_length_exceeded:知识库召回内容加上用户输入超过了模型 200000 tokens 的上下文上限。 - 模型回答内容重复或不准确,但未报错:openGauss 的
ef_search值设置过低,导致召回的向量质量不佳,未能提供足够相关的知识。 - 知识库引用区段为空或数量远少于预期:
recall_top_k参数配置过小,或者 openGauss 数据库中相关向量数据不足。
怎么确认配好了
- 通过 FastGPT 平台测试,观察模型回答是否能有效引用知识库内容,且引用的知识段落总长度未超过引用上限 120000 tokens。
- 检查 openGauss 数据库的连接状态,确保
OPENGAUSS_URL配置正确,并且 FastGPT 服务能正常读写向量数据。 - 调整
ef_search参数后,对比不同配置下模型回答的相关性和准确性,确定一个性能与延迟平衡的阈值。 - 在 FastGPT 知识库管理界面,查看单次查询召回的知识条数是否符合
recall_top_k的预期设置。