这一档模型的参数意味着什么
此档模型如 o4-mini 和 o3,提供 200,000 的上下文长度,意味着一次请求可以处理大量输入信息。这为整合多文档、长对话历史或复杂数据集提供了基础。引用上限为 120,000,限制了知识库召回内容在模型输入中的占比,并非所有上下文空间都能用于引用。图片输入能力允许模型直接处理图像信息,扩展了 RAG 应用的输入模态。工具调用能力则意味着模型可以与外部系统交互,执行特定任务,提升了 Agent 的自动化水平。单次最大输出未标注,通常表示模型输出长度由实际需求和上下文决定,但仍受限于整体上下文窗口。
配 OceanBase 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
OCEANBASE_URL | ob://user:pass@host:port/database | 连接 OceanBase 数据库的唯一标识,确保 FastGPT 可以访问。 |
ef_construction | 128 | HNSW 索引构建参数,平衡索引构建速度与查询精度,过小影响召回质量。 |
m=16 | 16 | HNSW 索引参数,控制每层图中邻居数量,影响查询效率和内存占用。 |
recall_top_k | 5 | 知识库召回阶段返回的向量数量,直接影响模型可引用的段落数量上限。 |
chunk_size | 800–1200 字符 | 文本切片大小,过小导致上下文碎片化,过大可能稀释关键信息。 |
embedding_model_dimensions | 1536 | 嵌入模型输出向量维度,需与选用的嵌入模型实际维度保持一致。 |
这两者互相约束的地方
此档模型的 200,000 上下文长度与 OceanBase 召回内容之间存在直接制约。知识库召回的条数乘以每段文本的平均长度,其总和不能超出模型的上下文预算。若 recall_top_k 设置过高,或 chunk_size 过大,可能导致单次召回内容溢出模型上下文窗口,从而引发截断或错误。模型的 120,000 引用上限与向量库返回条数 recall_top_k 共同生效,即便是 OceanBase 返回了更多条目,模型最终也只会考虑上限范围内的引用。OceanBase 索引参数 ef_construction 调大,通常会提升召回精度,对于需要模型处理更精确、更相关信息的场景有利,但也可能增加索引构建和查询的资源消耗,影响整体响应时间。
容易做错的三处
- 错误现象:知识库问答时,模型回答内容与预期召回的知识库内容不符,或出现“无相关信息”提示。 原因:
ef_construction或m参数设置过小,导致 OceanBase 索引召回精度不足,未能检索到最相关的知识段落。 - 错误现象:在 FastGPT 界面配置知识库时,保存后提示“数据库连接失败”或“无法创建索引”。 原因:
OCEANBASE_URL配置字符串格式有误,或连接的 OceanBase 实例权限不足、网络不通。 - 错误现象:模型回答长度明显短于预期,或者某些重要信息被省略。 原因:
recall_top_k或chunk_size设置不当,导致召回内容未能充分利用模型的 120,000 引用上限,或上下文长度被其他非知识库内容占据过多。
怎么确认配好了
- 在 FastGPT 知识库管理界面,上传文档并进行向量化处理,观察日志输出是否存在报错信息,确认 OceanBase 索引创建成功。
- 通过 FastGPT 的调试功能,输入与知识库内容相关的问题,查看模型返回的引用段落数量与内容,判断
recall_top_k和chunk_size是否合理。 - 使用 OceanBase 客户端工具,检查 FastGPT 对应数据库中是否生成了 HNSW 索引表,并能查询到向量数据,确认
OCEANBASE_URL和索引参数生效。 - 在 FastGPT Agent 配置中,尝试启用图片输入和工具调用功能,并进行测试,验证模型对这些能力的响应是否正常。