模型指南官方文档4 分钟阅读模型组合页

OpenAI 200K 上下文 这一档模型配 OceanBase 的配置口径

`o3-mini` 模型具备 200000 的上下文长度,这决定了单次请求中可输入的最大文本量,包括用户查询、历史对话以及召回的知识内容。引用上限 120000 限制了 FastGPT 能够向模型提供的知识库引用内容的总长度。模型支持工具调用,使其能够执行预设的外部功能,例如数据查询或业务流程触发。

这一档模型的参数意味着什么

o3-mini 模型具备 200000 的上下文长度,这决定了单次请求中可输入的最大文本量,包括用户查询、历史对话以及召回的知识内容。引用上限 120000 限制了 FastGPT 能够向模型提供的知识库引用内容的总长度。模型支持工具调用,使其能够执行预设的外部功能,例如数据查询或业务流程触发。此档模型不具备图片输入能力,因此涉及图像理解的场景需要通过其他方式处理。这些参数共同构成了模型在处理复杂 RAG(检索增强生成)任务时的能力边界。

配 OceanBase 要定哪些

配置项建议取法这样取的依据
OCEANBASE_URLjdbc:mysql://<host>:<port>/<db>?user=<user>&password=<pass>标准 JDBC 连接字符串,确保数据库可访问
ef_construction800影响索引构建质量与查询速度,平衡性能与准确度
m=1616控制 HNSW 索引图中每个节点的最大连接数
recall_top_k5结合模型引用上限,控制召回条数以避免截断
segment_length800–1200 字符单个知识段落长度,影响召回粒度与模型处理效率
segment_overlap100 字符段落重叠度,确保上下文连续性

这两者互相约束的地方

在 FastGPT 中,模型上下文预算是核心约束。o3-mini 的 200000 上下文长度意味着所有输入内容(用户查询、历史对话、系统提示词以及 OceanBase 召回的知识段落)的总和不能超出此限制。因此,OceanBase 召回的知识段落数量与每个段落的平均长度需要精心配置,以确保 召回条数 × 每段长度 的乘积在模型上下文预算内。模型的引用上限 120000 则进一步限制了实际能提交给模型用于引用的知识内容总量。在实践中,向量库的 recall_top_k 参数与 FastGPT 内部的引用上限机制会共同作用,取两者中较小者作为最终提交给模型的引用条目数。此外,OceanBase 的 ef_construction 参数调大可以提高召回精度,但这会增加向量检索的计算成本,可能导致查询延迟。对于 o3-mini 这样的高上下文模型,提高召回精度可以更好地利用其处理大量信息的能力,但也需要权衡响应时间。

容易做错的三处

  • 日志中出现 Context window exceeded 错误,原因是 OceanBase 召回内容加上用户输入超过了 200000 的上下文长度。
  • 模型回答中引用内容不完整或缺失,原因是 FastGPT 提交给模型的引用总长度超过了 120000 的引用上限,导致内容被截断。
  • 向量搜索响应时间过长,导致用户体验不佳,原因是 OceanBase 的 ef_construction 或 m 参数设置过高,增加了索引查询的计算开销。

怎么确认配好了

  • 在 FastGPT 调试页面观察每次请求的模型输入 Token 数量,确保其稳定在 200000 以下。
  • 检查模型回答中引用的知识段落是否完整且与召回内容一致,确保引用上限配置得当。
  • 通过 FastGPT 的请求日志或数据库监控工具,分析 OceanBase 的向量检索耗时,确保其在可接受的范围内。
  • 进行多轮对话测试,验证模型在不同查询场景下,结合 OceanBase 召回的知识能够提供准确且连贯的回答。

参考资料