模型指南官方文档4 分钟阅读模型组合页

AntLing 64K 上下文 这一档模型配 OceanBase 的配置口径

AntLing 64K 上下文模型,其 `上下文长度 64000` 决定了模型单次处理输入令牌的总上限,包含用户查询、历史对话、系统指令以及从知识库召回的内容。`引用上限 60000` 则约束了知识库内容可占据的最大令牌量,这意味着召回段落的总长度不能超过此值。尽管 `单次最大输出 未标注`,但在实

这一档模型的参数意味着什么

AntLing 64K 上下文模型,其 上下文长度 64000 决定了模型单次处理输入令牌的总上限,包含用户查询、历史对话、系统指令以及从知识库召回的内容。引用上限 60000 则约束了知识库内容可占据的最大令牌量,这意味着召回段落的总长度不能超过此值。尽管 单次最大输出 未标注,但在实际应用中仍需预留足够的输出空间。图片输入 true 启用了多模态能力,允许模型理解图像信息,但需通过特定链路处理。工具调用 false 表明该模型不直接支持函数调用或外部工具集成,需在外部进行工具编排。

配 OceanBase 要定哪些

配置项建议取法这样取的依据
OCEANBASE_URLmysql://user:password@host:port/database连接 OceanBase 数据库的完整 JDBC 兼容 URL
ef_construction64HNSW 索引构建时每个节点连接的最大邻居数,影响索引质量与构建速度
m=1616HNSW 索引中每个层级上每个点的最大邻居数,影响查询性能与内存占用
top_k5向量检索时返回的相似度最高的前 N 条结果
recall_length_limit800–1200 字符单个召回段落的最大字符长度,根据模型令牌消耗估算

这两者互相约束的地方

AntLing 64K 上下文模型与 OceanBase 向量库的集成,需重点关注二者对内容长度和数量的限制。模型的 引用上限 60000 决定了知识库召回内容的总令牌量天花板。这意味着,即使 OceanBase 向量库返回了大量结果,最终送入模型的知识内容也受此上限约束。具体表现为:召回条数 × 每段长度 的总和必须小于 引用上限 60000。在向量库侧,top_k 参数控制 OceanBase 返回的向量段落数量,而实际送入模型的段落还需经过长度裁剪和去重。因此,引用上限 与向量库的 top_k 谁先达到限制,将决定最终进入模型的内容量。此外,OceanBase 的 ef_construction 和 m 等索引参数调大,虽能提高召回精度,但也可能增加索引构建时间与存储开销,间接影响整体响应速度,需与模型对召回质量的需求平衡。SEEKDB 作为 OceanBase 的兼容实现,在配置口径上与 OceanBase 保持一致,以上约束同样适用。

容易做错的三处

  • 日志显示 Connection refused for OceanBase instance:OCEANBASE_URL 中的主机或端口配置错误。
  • 响应内容中知识引用为空或不完整:召回条数与单段长度之积超过了模型的 引用上限 60000。
  • 查询响应时间明显变长且召回质量不佳:OceanBase 索引参数 ef_construction 或 m 配置过低,导致召回效率或精度不足。

怎么确认配好了

  • 通过 FastGPT 后台测试连接功能,确认 OCEANBASE_URL 配置正确,并能成功连接 OceanBase 数据库。
  • 在 FastGPT 中上传一段长文本作为知识库,然后提问,观察模型返回的引用内容是否完整且相关,且引用令牌数未超过 引用上限 60000。
  • 调整 OceanBase 向量库的 ef_construction 和 m 参数,进行多次查询测试,对比不同参数设置下的查询耗时和召回准确率,以确定适合当前业务场景的阈值。

参考资料