这一档模型的参数意味着什么
Qwen 128K 上下文模型档位,其 128000 的上下文长度,意味着单次输入模型可承载的文本总量非常庞大,为召回大量相关知识片段提供了空间。引用上限 100000 决定了知识库在生成回答时,模型可引用的段落数量上限,这直接影响了 RAG 检索结果的利用深度。此档模型不具备图片输入能力,因此不适用于处理视觉信息相关的 RAG 应用。工具调用功能则表明模型能够与外部工具进行交互,扩展其解决复杂问题的能力,例如执行数据库查询或 API 调用。
配 OceanBase 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
OCEANBASE_URL | ob://user:pass@host:port/db | 指定 OceanBase 连接信息,确保 FastGPT 能够正确访问向量库服务,协议为 MySQL。 |
ef_construction | 100–200 | 影响构建索引时的邻居数量,决定索引质量与构建速度的平衡,数值越大召回准确率越高。 |
m=16 | 16 | 影响 HNSW 索引中每个节点的最大连接数,控制搜索效率与内存消耗,此参数直接映射 OceanBase 的向量索引配置。 |
| 召回条数 | 前 20–30 条 | 在模型引用上限 100000 的前提下,保障召回内容的多样性,同时避免不必要的计算开销。 |
| 单段最大长度 | 500–800 字符 | 结合模型上下文长度,确保单次召回内容能充分利用模型上下文,避免截断关键信息。 |
SEEKDB_URL | seekdb://... | SEEKDB 与 OceanBase 共享控制器,配置口径与 OCEANBASE_URL 类似,用于指定 SEEKDB 实例。 |
这两者互相约束的地方
模型上下文长度是决定召回策略的关键因素。召回条数与每段长度的乘积,必须严格控制在 128000 的上下文长度预算之内,否则模型将无法处理超出部分。引用上限 100000 与向量库返回条数之间存在制约关系:实际生效的将是二者中的较小值。这意味着即使向量库返回了大量结果,模型也只会引用上限范围内的段落。OceanBase 索引参数 ef_construction 和 m=16 调大后,向量搜索的准确率通常会提升,从而向模型提供更相关的知识片段。但这也会增加索引构建和搜索的计算开销,需要与 FastGPT 的响应时间要求进行权衡。
容易做错的三处
- 连接失败,日志显示
ERROR 1045 (28000): Access denied for user。原因:OCEANBASE_URL中的用户名或密码不正确。 - 召回结果为空或不相关,界面显示知识库无匹配内容。原因:OceanBase 向量索引未正确构建,或
ef_construction参数设置过低导致召回质量差。 - 模型回答过于简短,且未引用知识库内容。原因:模型引用上限虽然高,但实际配置的召回条数过少,或者知识库分段策略导致单段长度过短,无法提供足够信息。
怎么确认配好了
- 检查 FastGPT 系统日志,确认 OceanBase 连接成功,无
ERROR或WARN级别的数据库连接异常。 - 在 FastGPT 知识库管理界面,上传文档并执行一次问答测试,观察召回内容是否与提问高度相关。
- 模拟高并发查询,监控 OceanBase 实例的 CPU、内存和 IO 使用率,确保在可接受范围内。
- 针对不同的查询,通过 FastGPT 的调试功能检查模型实际引用的知识片段数量,验证是否符合预期。