这一档模型的参数意味着什么
此档模型提供高达 1050000 token 的上下文长度，这意味着在单次交互中，模型能够处理极其庞大的输入信息，例如完整的文档、多轮对话历史或复杂的代码库。其引用上限为 1000000 token，明确了从知识库召回内容的最大容量，直接影响了知识库检索的深度与广度。支持图片输入 true 表明模型具备多模态理解能力，可处理包含图像信息的查询。工具调用 true 则允许模型与外部系统或自定义工具进行交互，从而扩展其解决问题的范围。这些参数共同定义了模型在复杂 RAG 应用中的工程边界与能力范围。
配 OceanBase 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
OCEANBASE_URL | ob://user:password@host:port/database | 连接 OceanBase 实例的必要信息，确保数据库可访问 |
ef_construction | 800 | 影响 HNSW 索引构建质量与查询速度，平衡召回率与时延 |
m | 16 | HNSW 索引层级参数，控制每个节点的最大连接数，影响内存占用与查询性能 |
| 向量召回条数 | 15–20 条 | 结合模型上下文长度与单段文本长度，优化召回效率与模型处理负担 |
| 单段文本长度 | 800–1200 字符 | 确保每段文本信息完整，并避免模型上下文溢出 |
SEEKDB_URL | 与 OCEANBASE_URL 保持一致 | SEEKDB 与 OceanBase 共享控制器，配置口径相同 |
这两者互相约束的地方
模型 1050000 token 的上下文长度是核心约束，它决定了向量库召回内容的总量。当从 OceanBase 召回多条文本段落时，这些段落的总字符数（经 token 转换后）加上用户查询、系统指令和模型预期输出，必须在上下文预算之内。如果召回条数过多或单段文本过长，将导致上下文溢出。模型的 1000000 token 引用上限与向量库的返回条数之间存在优先级：实际生效的是两者中较小的值。即使 OceanBase 返回了 50 条结果，模型最终也只会处理不超过其引用上限的 token 量。此外，OceanBase 的索引参数如 ef_construction 和 m 调大，通常会提升向量检索的准确性，这意味着模型能获得更相关的信息。但同时，更高的索引质量也可能带来索引构建时间的增加和内存消耗的提升，这需要与模型处理效率和系统资源进行权衡。
容易做错的三处
- 日志显示
Connection refused for OceanBase instance：OCEANBASE_URL中的主机或端口不正确，导致无法建立数据库连接。 - 知识库检索结果为空或不相关：
ef_construction或m设置过低，导致 OceanBase 的 HNSW 索引质量不佳，无法有效召回相关向量。 - 模型返回的回答长度异常短或被截断：模型上下文窗口因召回内容过多而溢出，或单次最大输出限制被触发。
怎么确认配好了
- 检查 FastGPT 系统日志，确认 OceanBase 客户端连接成功，无报错信息。
- 执行一个包含大量上下文的查询，观察模型是否能够完整处理并给出有效回答，确认上下文长度未溢出。
- 在 FastGPT 界面上传一个文档，观察 OceanBase 是否成功创建了向量索引，并通过 FastGPT 的知识库检索功能，验证召回文本段落的相关性与数量是否符合预期。
- 调整 OceanBase 的
ef_construction或m参数，观察知识库检索响应时间的变化，并据此调整至满足业务需求的性能阈值。