这一档模型的参数意味着什么
M2-her 模型具备 64000 的上下文长度,这决定了单次请求中可供模型处理的文本总量上限,包括用户输入、系统指令和召回知识。尽管单次最大输出长度未明确标注,但通常会受到上下文总量的隐形制约。引用上限 60000 意味着知识库在生成回复时,可以引用的知识段落总长度上限。该模型不具备图片输入和工具调用能力,这意味着在设计 RAG 链路时,无需考虑多模态输入和外部工具集成。
配 OceanBase 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
OCEANBASE_URL | ob://user:pwd@host:port/db_name | 连接 OceanBase 实例的必要信息,确保数据库可访问。 |
ef_construction | 64 | 影响 HNSW 索引构建质量与查询速度,平衡性能与准确性。 |
m=16 | 16 | HNSW 索引的邻居节点数,决定图的稠密程度。 |
| 召回条数 | 15 条 | 在模型上下文允许范围内,确保召回知识的广度。 |
| 单段知识最大长度 | 800 字符 | 避免单个知识段过长占用过多上下文,影响召回数量。 |
CONNECTION_POOL_SIZE | 32 | 数据库连接池大小,优化并发访问性能。 |
这两者互相约束的地方
M2-her 模型 64000 的上下文长度是核心约束。在 RAG 流程中,召回条数乘以每段知识的平均长度,加上用户查询和系统提示,总和不能超过此上限。如果知识库召回 15 条,每条平均 800 字符,则占用 12000 字符,这在 64000 的上限内是可行的。引用上限 60000 是模型在生成回复时,可以从召回知识中引用的总长度限制,通常与向量库返回的知识条数共同生效,取两者中更严格的限制。OceanBase 的 ef_construction 和 m 参数调大,会提高向量检索的准确性,可能导致召回条目质量更高,但同时也会增加索引构建时间和查询延迟,需要在 FastGPT 实际部署中进行性能测试以找到平衡点。SEEKDB 作为 OceanBase 协议兼容的实现,其配置口径与 OceanBase 保持一致。
容易做错的三处
- 错误现象:FastGPT 日志显示
SQLSTATE[HY000]: General error: 2003 Can't connect to MySQL server。原因:OCEANBASE_URL配置错误,导致无法连接 OceanBase 数据库实例。 - 错误现象:模型返回的回答内容过短或无法解决问题。原因:召回知识条数设置过少,或者单段知识长度过短,导致模型获取的有效信息不足。
- 错误现象:在 FastGPT 界面上传知识库文件后,提示
Vectorization failed: document chunking error。原因:OceanBase 向量索引参数ef_construction或m设置不合理,导致向量化或索引构建失败。
怎么确认配好了
- 在 FastGPT 管理后台,尝试上传并向量化一个文档,检查日志中是否有
Document chunks indexed successfully消息,确认知识分段和向量化流程正常。 - 进行一次 FastGPT 对话测试,观察模型是否能够引用知识库内容,并检查引用的知识段落是否相关且完整。
- 监控 OceanBase 数据库的慢查询日志,确认向量检索查询的耗时是否在可接受范围内,据此调整
ef_construction和m参数的阈值。 - 在 FastGPT 系统设置中,检查知识库召回条数与单段知识最大长度的配置,确保与模型上下文长度兼容。