模型指南官方文档5 分钟阅读模型组合页

MiniMax 64K 上下文 这一档模型配 OceanBase 的配置口径

M2-her 模型具备 64000 的上下文长度,这决定了单次请求中可供模型处理的文本总量上限,包括用户输入、系统指令和召回知识。尽管单次最大输出长度未明确标注,但通常会受到上下文总量的隐形制约。引用上限 60000 意味着知识库在生成回复时,可以引用的知识段落总长度上限。该模型不具备图片输入和工具

这一档模型的参数意味着什么

M2-her 模型具备 64000 的上下文长度,这决定了单次请求中可供模型处理的文本总量上限,包括用户输入、系统指令和召回知识。尽管单次最大输出长度未明确标注,但通常会受到上下文总量的隐形制约。引用上限 60000 意味着知识库在生成回复时,可以引用的知识段落总长度上限。该模型不具备图片输入和工具调用能力,这意味着在设计 RAG 链路时,无需考虑多模态输入和外部工具集成。

配 OceanBase 要定哪些

配置项建议取法这样取的依据
OCEANBASE_URLob://user:pwd@host:port/db_name连接 OceanBase 实例的必要信息,确保数据库可访问。
ef_construction64影响 HNSW 索引构建质量与查询速度,平衡性能与准确性。
m=1616HNSW 索引的邻居节点数,决定图的稠密程度。
召回条数15 条在模型上下文允许范围内,确保召回知识的广度。
单段知识最大长度800 字符避免单个知识段过长占用过多上下文,影响召回数量。
CONNECTION_POOL_SIZE32数据库连接池大小,优化并发访问性能。

这两者互相约束的地方

M2-her 模型 64000 的上下文长度是核心约束。在 RAG 流程中,召回条数乘以每段知识的平均长度,加上用户查询和系统提示,总和不能超过此上限。如果知识库召回 15 条,每条平均 800 字符,则占用 12000 字符,这在 64000 的上限内是可行的。引用上限 60000 是模型在生成回复时,可以从召回知识中引用的总长度限制,通常与向量库返回的知识条数共同生效,取两者中更严格的限制。OceanBase 的 ef_construction 和 m 参数调大,会提高向量检索的准确性,可能导致召回条目质量更高,但同时也会增加索引构建时间和查询延迟,需要在 FastGPT 实际部署中进行性能测试以找到平衡点。SEEKDB 作为 OceanBase 协议兼容的实现,其配置口径与 OceanBase 保持一致。

容易做错的三处

  • 错误现象:FastGPT 日志显示 SQLSTATE[HY000]: General error: 2003 Can't connect to MySQL server。原因:OCEANBASE_URL 配置错误,导致无法连接 OceanBase 数据库实例。
  • 错误现象:模型返回的回答内容过短或无法解决问题。原因:召回知识条数设置过少,或者单段知识长度过短,导致模型获取的有效信息不足。
  • 错误现象:在 FastGPT 界面上传知识库文件后,提示 Vectorization failed: document chunking error。原因:OceanBase 向量索引参数 ef_construction 或 m 设置不合理,导致向量化或索引构建失败。

怎么确认配好了

  • 在 FastGPT 管理后台,尝试上传并向量化一个文档,检查日志中是否有 Document chunks indexed successfully 消息,确认知识分段和向量化流程正常。
  • 进行一次 FastGPT 对话测试,观察模型是否能够引用知识库内容,并检查引用的知识段落是否相关且完整。
  • 监控 OceanBase 数据库的慢查询日志,确认向量检索查询的耗时是否在可接受范围内,据此调整 ef_construction 和 m 参数的阈值。
  • 在 FastGPT 系统设置中,检查知识库召回条数与单段知识最大长度的配置,确保与模型上下文长度兼容。

参考资料