模型指南官方文档5 分钟阅读模型组合页

Hunyuan 128K 上下文 这一档模型配 OceanBase 的配置口径

Hunyuan 128K 上下文模型系列,如 `hunyuan-2.0-instruct-20251111` 和 `hunyuan-2.0-thinking-20251109`,提供了 128000 的上下文长度。这决定了模型在一次交互中能够处理的输入总量,包括用户查询、历史对话以及系统注入的召回内

这一档模型的参数意味着什么

Hunyuan 128K 上下文模型系列,如 hunyuan-2.0-instruct-20251111 和 hunyuan-2.0-thinking-20251109,提供了 128000 的上下文长度。这决定了模型在一次交互中能够处理的输入总量,包括用户查询、历史对话以及系统注入的召回内容。引用上限同样为 128000 token,这是专门为引用内容预留的预算,用于限制从向量库检索到的文本片段在输入中的总长度。模型可以接受图片输入的能力为 false,表示不支持多模态图像理解。工具调用能力也为 false,意味着该模型不具备直接执行外部工具函数的能力。

配 OceanBase 要定哪些

配置项建议取法这样取的依据
OCEANBASE_URLob://user:password@ip:port/database连接 OceanBase 数据库的必要参数,遵循标准连接字符串格式。
ef_construction64HNSW 索引构建参数,影响索引质量与构建速度,64 是一个平衡的起点。
m=1616HNSW 索引图的邻居数量参数,影响召回精度与查询效率,16 为常用值。
max_recall_segments10检索阶段从向量库返回的最大文本段落数量,避免单次召回过多低相关性内容。
segment_token_limit500单个文本段落的最大 token 限制,防止过长的段落稀释上下文有效信息。
OCEANBASE_QUERY_TIMEOUT_MS5000OceanBase 查询超时时间,单位毫秒,避免长时间阻塞。

SEEKDB 与 OceanBase 使用同一套控制器实现(MySQL 协议兼容),其配置口径与上述类似,可参考配置。

这两者互相约束的地方

模型 128000 token 的上下文长度是总预算,它必须容纳用户输入、历史对话、系统指令和从 OceanBase 召回的引用内容。引用上限 128000 token 专门用于限制这些召回内容的累计 token 数。向量库返回的是文本段落的条数,每一条段落都有其自身的 token 长度。当配置 max_recall_segments 和 segment_token_limit 时,需要确保 max_recall_segments 乘以 segment_token_limit 的乘积在合理范围内,不能显著超出模型的引用上限预算。引用上限按 token 计,向量库返回的按条数计,哪一个先触及上限,取决于每段文本的平均长度。如果 ef_construction 或 m 等索引参数调大,通常会提高 OceanBase 的检索精度,这对于模型而言,意味着可以获得更高质量的输入信息,从而有可能提升模型输出的准确性。

容易做错的三处

  • 日志显示 SQLSTATE: 08001 连接失败,原因是 OCEANBASE_URL 中的用户名或密码不正确。
  • 模型输出内容过短或缺失关键信息,原因是 max_recall_segments 设置过小,导致模型缺乏足够的引用内容进行推理。
  • 查询响应时间过长,甚至出现 QUERY_TIMEOUT 错误,原因是 OceanBase 索引参数 ef_construction 或 m 设置过高,增加了查询的计算开销。

怎么确认配好了

  • 在 FastGPT 管理界面,查看知识库连接状态,确保 OceanBase 连接显示“已连接”。
  • 在调试界面,使用一个带有多个关键词的查询,观察返回的引用内容条数是否与 max_recall_segments 的设定一致,并检查引用内容的关联性。
  • 通过 FastGPT 的 API 接口进行多次调用测试,监控响应时间,确保在 OCEANBASE_QUERY_TIMEOUT_MS 设定的阈值内完成。
  • 调整 segment_token_limit 参数,观察模型在不同引用长度下的回答质量,并确定一个既能提供足够信息又不至于过度消耗引用上限的阈值。

参考资料