这一档模型的参数意味着什么
Gemini 1000K 上下文模型系列具备 1000000 token 的上下文窗口,这意味着单次请求可以处理大量召回内容,为构建复杂知识问答系统提供了基础。虽然单次最大输出未标注,但通常足以支撑常规对话长度。1000000 token 的引用上限与上下文长度保持一致,确保了知识库引用段落数量的充足性。图片输入能力允许模型处理多模态信息,拓展了应用场景。工具调用功能则赋予模型执行外部操作的能力,使其不仅能回答问题,还能完成特定任务,提升了 Agent 的智能化水平。
配 OceanBase 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
OCEANBASE_URL | mysql://user:password@host:port/database | FastGPT 连接 OceanBase 的标准 MySQL 协议连接字符串 |
ef_construction | 32 | 影响 HNSW 图构建质量,提高召回准确性,兼顾索引构建速度 |
m | 16 | HNSW 索引中每个节点连接的最大邻居数,平衡搜索性能与内存占用 |
| 召回条数 | 20–30 | 经验值,旨在充分利用 Gemini 1000K 上下文窗口,同时避免无关信息干扰 |
| 单段最大字符数 | 800–1200 字符 | 确保每段内容足够完整,并控制总 token 数在模型上下文窗口内 |
这两者互相约束的地方
Gemini 1000K 上下文模型与 OceanBase 向量库的配合,核心在于如何有效利用模型的巨大上下文窗口。召回条数与每段长度的乘积,不能超过模型 1000000 token 的上下文预算。在实际操作中,知识库的引用上限与向量库的返回条数,两者之中生效的是更小的那一个。例如,即使 OceanBase 返回 50 条结果,若知识库配置的引用上限为 30 条,模型最终也只会收到 30 条。OceanBase 的索引参数,如 ef_construction 和 m,调大可以提高召回的准确性,这对于模型理解复杂查询和从海量知识中提取关键信息至关重要。但同时,更高的索引质量也可能带来索引构建时间或搜索延迟的增加,需要在实际部署中进行权衡。
容易做错的三处
- 日志中出现
MySQL client error: connection refused:OCEANBASE_URL配置的主机、端口或凭据不正确,导致无法建立数据库连接。 - 模型返回内容与知识库关联性差,但 OceanBase 返回结果丰富:知识库配置的引用上限过低,限制了模型实际能接收的召回信息量,导致模型无法充分利用 OceanBase 提供的上下文。
- 向量搜索响应时间过长,导致整体 Agent 响应缓慢:OceanBase 的
ef_construction或m参数设置过高,或者硬件资源不足,导致 HNSW 索引查询效率下降。
怎么确认配好了
- 在 FastGPT 知识库管理界面,测试连接 OceanBase,确认连接状态显示“成功”。
- 上传文档后,在向量搜索日志中查看 OceanBase 返回的向量 ID 和相似度分数,确认召回结果符合预期。
- 通过 FastGPT 的调试模式,观察发送给 Gemini 模型的上下文内容,检查召回条数和每段长度是否在预算范围内,且与知识库配置的引用上限一致。
- 运行多个复杂查询,评估 Agent 的回答质量和相关性,并结合 OceanBase 的监控指标,确保查询延迟在可接受范围内。