模型指南官方文档4 分钟阅读模型组合页

AntLing 64K 上下文 这一档模型配 OceanBase 的配置口径

`Ling-mini-2.0` 模型档位具备 64000 的上下文长度,决定了单次请求中可供模型分析的文本总量。引用上限 60000 意味着知识库引用内容不能超过此限制,这直接影响召回文本的长度和数量。模型支持工具调用,可以在特定场景下通过外部工具增强其能力。不支持图片输入,表示当前模型无法直接处理

这一档模型的参数意味着什么

Ling-mini-2.0 模型档位具备 64000 的上下文长度,决定了单次请求中可供模型分析的文本总量。引用上限 60000 意味着知识库引用内容不能超过此限制,这直接影响召回文本的长度和数量。模型支持工具调用,可以在特定场景下通过外部工具增强其能力。不支持图片输入,表示当前模型无法直接处理图像数据。单次最大输出未标注,但通常需要预留足够的空间以避免因输出长度不足导致截断。这些参数共同构成了模型在处理信息、生成响应时的能力边界。

配 OceanBase 要定哪些

配置项建议取法这样取的依据
OCEANBASE_URLob://<user>:<password>@<host>:<port>/<database>?readTimeout=10000&writeTimeout=10000连接 OceanBase 实例的必要信息,包含认证、地址及超时设置。
ef_construction64HNSW 索引构建参数,影响索引质量与构建速度。过小影响召回准确率,过大增加索引时间。
m16HNSW 索引图的邻居数,影响召回效率与内存占用。过小降低召回质量,过大增加查询延迟。
文本分段长度500–800 字符确保每个分段包含足够信息,同时避免过长导致模型处理效率下降。
召回条数前 5–10 条在上下文预算内,优先选择相关性最高的若干条目。
SEEKDB_URLmysql://<user>:<password>@<host>:<port>/<database>SEEKDB 与 OceanBase 兼容,配置口径相同,可作为备用或并行方案。

这两者互相约束的地方

模型 64000 的上下文长度是核心约束。知识库召回的条数乘以每条的平均长度,其总和必须低于此上下文限制,否则超出部分会被截断,导致信息丢失。引用上限 60000 则进一步限制了实际可以引用的内容总量,即使上下文长度有余,引用内容也不能突破此阈值。在实际操作中,向量库返回的召回条数与引用上限之间取小值生效。如果 OceanBase 的 ef_construction 或 m 参数设置过高,虽然可能提高召回精确度,但会显著增加索引构建和查询时间,可能导致模型等待时间过长,影响用户体验。因此,需要在这两者之间进行权衡,以保证查询效率在可接受范围内。

容易做错的三处

  • OceanBase 连接超时,报错文案包含 readTimeout 或 writeTimeout,原因是没有在 OCEANBASE_URL 中设置合适的超时时间。
  • 召回的知识段落数量与预期不符,界面显示返回条数不足,原因可能是向量库查询参数限制了返回条数,或引用上限设置过低。
  • 向量搜索耗时过长,日志显示查询响应时间超过 5000ms,原因可能是 ef_construction 或 m 参数设置过大,导致 HNSW 索引查询效率降低。

怎么确认配好了

  • 通过 FastGPT 后台的调试工具,发送一条包含复杂问题的请求,观察模型返回的引用内容是否完整、相关且没有截断。
  • 检查 OceanBase 实例的监控指标,确认查询 QPS、延迟和资源占用是否在正常范围内,特别是向量查询相关的指标。
  • 尝试导入一批测试数据,并执行向量召回操作,核对召回结果与预期相关性排序是否一致,以评估 ef_construction 和 m 参数的有效性。

参考资料