这一档模型的参数意味着什么
Ling-mini-2.0 模型档位具备 64000 的上下文长度,决定了单次请求中可供模型分析的文本总量。引用上限 60000 意味着知识库引用内容不能超过此限制,这直接影响召回文本的长度和数量。模型支持工具调用,可以在特定场景下通过外部工具增强其能力。不支持图片输入,表示当前模型无法直接处理图像数据。单次最大输出未标注,但通常需要预留足够的空间以避免因输出长度不足导致截断。这些参数共同构成了模型在处理信息、生成响应时的能力边界。
配 OceanBase 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
OCEANBASE_URL | ob://<user>:<password>@<host>:<port>/<database>?readTimeout=10000&writeTimeout=10000 | 连接 OceanBase 实例的必要信息,包含认证、地址及超时设置。 |
ef_construction | 64 | HNSW 索引构建参数,影响索引质量与构建速度。过小影响召回准确率,过大增加索引时间。 |
m | 16 | HNSW 索引图的邻居数,影响召回效率与内存占用。过小降低召回质量,过大增加查询延迟。 |
| 文本分段长度 | 500–800 字符 | 确保每个分段包含足够信息,同时避免过长导致模型处理效率下降。 |
| 召回条数 | 前 5–10 条 | 在上下文预算内,优先选择相关性最高的若干条目。 |
SEEKDB_URL | mysql://<user>:<password>@<host>:<port>/<database> | SEEKDB 与 OceanBase 兼容,配置口径相同,可作为备用或并行方案。 |
这两者互相约束的地方
模型 64000 的上下文长度是核心约束。知识库召回的条数乘以每条的平均长度,其总和必须低于此上下文限制,否则超出部分会被截断,导致信息丢失。引用上限 60000 则进一步限制了实际可以引用的内容总量,即使上下文长度有余,引用内容也不能突破此阈值。在实际操作中,向量库返回的召回条数与引用上限之间取小值生效。如果 OceanBase 的 ef_construction 或 m 参数设置过高,虽然可能提高召回精确度,但会显著增加索引构建和查询时间,可能导致模型等待时间过长,影响用户体验。因此,需要在这两者之间进行权衡,以保证查询效率在可接受范围内。
容易做错的三处
- OceanBase 连接超时,报错文案包含
readTimeout或writeTimeout,原因是没有在OCEANBASE_URL中设置合适的超时时间。 - 召回的知识段落数量与预期不符,界面显示返回条数不足,原因可能是向量库查询参数限制了返回条数,或引用上限设置过低。
- 向量搜索耗时过长,日志显示查询响应时间超过 5000ms,原因可能是
ef_construction或m参数设置过大,导致 HNSW 索引查询效率降低。
怎么确认配好了
- 通过 FastGPT 后台的调试工具,发送一条包含复杂问题的请求,观察模型返回的引用内容是否完整、相关且没有截断。
- 检查 OceanBase 实例的监控指标,确认查询 QPS、延迟和资源占用是否在正常范围内,特别是向量查询相关的指标。
- 尝试导入一批测试数据,并执行向量召回操作,核对召回结果与预期相关性排序是否一致,以评估
ef_construction和m参数的有效性。