这一档模型的参数意味着什么
DeepSeek 模型家族中,deepseek-v4-flash 和 deepseek-v4-pro 具备 1000000 的上下文长度,这为 FastGPT 知识库召回和问答提供了巨大的文本处理空间。这意味着在单次交互中,可以向模型输入大量背景信息或多轮对话历史。引用上限 960000 规定了知识库召回内容可占据的最大token量,直接影响了知识库段落的召回数量和每段的平均长度。工具调用能力 true 表明这些模型支持 FastGPT 的函数调用特性,可集成外部工具增强模型能力。图片输入为 false,则表明模型不支持直接处理图像信息。
配 OceanBase 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
OCEANBASE_URL | ob://user:password@host:port/database | FastGPT 连接 OceanBase 的标准协议格式,确保连接可用性。 |
ef_construction | 64 | HNSW 索引构建参数,影响索引质量与构建速度。较高的值能提升召回准确率,但会增加索引构建时间。 |
m=16 | 16 | HNSW 索引图的邻居数量,影响检索性能与召回准确率。适当的 m 值能在查询效率和召回质量间取得平衡。 |
| 召回条数 | 8–15 条 | 结合模型引用上限与单段平均长度,避免超出模型处理范围。 |
| 单段最大字符数 | 600–800 字符 | 经验值,确保每段信息量适中,便于模型理解。 |
OCEANBASE_MAX_CONNECTIONS | 50 | 数据库连接池最大连接数,防止并发请求过多导致连接耗尽。 |
这两者互相约束的地方
DeepSeek 1000K 上下文模型与 OceanBase 向量库的配合,核心在于如何有效利用模型的巨大上下文容量,同时避免超出引用上限。召回条数与每段长度的乘积必须小于模型的上下文长度,并受限于引用上限 960000。这意味着即使 OceanBase 能返回大量相关向量,FastGPT 最终送入模型的内容也会受到引用上限的制约。如果 OceanBase 的索引参数 ef_construction 和 m 调得过高,虽然可能提升召回的精准度,但会增加索引构建和查询的计算开销。过高的开销可能导致向量检索耗时增加,进而影响 FastGPT 整体的响应速度,尤其是在处理并发请求时。SEEKDB 作为兼容 MySQL 协议的 OceanBase 存储,其配置口径与 OceanBase 保持一致,也需遵循相同的约束。
容易做错的三处
- 界面提示“引用内容超出模型最大 token 限制”,原因是知识库召回条数或单段字符数设置过大,导致总 token 数超过了 DeepSeek 模型的引用上限 960000。
- 查询结果返回为空或不相关,可能由于 OceanBase 的
OCEANBASE_URL配置错误,导致 FastGPT 无法连接到向量库。 - 响应时间过长,甚至出现超时,原因可能是 OceanBase 的 HNSW 索引参数
ef_construction或m设置过高,导致向量检索耗时过长。
怎么确认配好了
- 通过 FastGPT 管理界面,新建知识库并上传少量文档,观察是否能正常分段和向量化,且无报错信息。
- 配置一个简单的 FastGPT 应用,关联上述知识库,进行几次问答,检查模型是否能正确引用知识库内容,并给出相关回答。
- 监控 OceanBase 数据库的连接数和查询延迟,确保在 FastGPT 运行期间,数据库连接稳定且查询响应时间在可接受范围内。
- 调整 FastGPT 知识库的召回条数和单段最大字符数,逐步测试在不触发“引用内容超出模型最大 token 限制”提示的前提下,模型能够处理的最大知识库信息量。