这一档模型的参数意味着什么
DeepSeek 1000K 上下文模型提供了巨大的处理容量。上下文长度 1000000 意味着模型单次请求能处理的数据量上限,这直接影响到可以输入多少召回内容。引用上限 960000 token 明确了用于承载引用内容的 token 预算,它限定了引用内容的总量。段落条数由向量库的检索结果决定,这与引用上限是两个不同的考量维度。图片输入 true 和工具调用 true 表明模型支持多模态输入和外部工具的集成,为 Agent 能力提供了基础。
配 openGauss 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
OPENGAUSS_URL | postgresql://user:password@host:port/database | 数据库连接字符串,确保可访问性和权限 |
ef_construction | 128 | 构建 HNSW 索引时,每个节点连接的最大邻居数,影响索引质量与构建速度 |
ef_search | 64 | 搜索 HNSW 索引时,遍历的邻居数,影响召回率与搜索速度 |
m | 32 | HNSW 索引中每个节点的最大连接数,影响索引大小和查询性能 |
top_k | 前 10 条 | 向量检索返回的条目数量 |
chunk_size | 800–1200 字符 | 文本切分时每个段落的字符长度,影响召回粒度与模型处理效率 |
这两者互相约束的地方
模型上下文长度和 openGauss 返回的召回内容存在直接约束。召回条数与每段文本长度的乘积不能超过模型上下文的预算。引用上限按 token 计量,而 openGauss 返回的是具体段落条数,谁先达到限制取决于每段内容的平均 token 长度。如果每段内容较短,可能在引用 token 达到上限前就达到了召回条数的上限;反之,若每段内容很长,引用 token 可能会先触顶。openGauss 的 ef_construction 和 ef_search 等索引参数调大,通常能提升召回的准确性和广度,这对于利用 DeepSeek 1000K 模型的长上下文能力至关重要,确保高质量的召回内容可以充分填充模型的输入窗口。
容易做错的三处
- 现象:模型返回
Context length exceeded错误。 原因:召回内容总 token 数加上用户提问超出了模型的上下文长度限制。 - 现象:回答内容缺少关键引用信息。 原因:虽然 openGauss 返回了足够多的条目,但这些条目的总 token 数超过了引用上限。
- 现象:向量检索响应时间过长。 原因:openGauss 的
ef_search参数设置过大,导致查询时需要遍历的节点过多。
怎么确认配好了
- 检查 FastGPT 系统日志,确认
OPENGAUSS_URL连接成功,没有数据库连接错误信息。 - 在 FastGPT 的 Agent 配置中,逐步增加检索返回的
top_k值和chunk_size,观察模型的响应质量和引用内容是否完整,直到出现上下文或引用上限警告。 - 运行一组典型查询,通过 openGauss 的数据库监控工具查看
ef_search和m参数下查询的平均响应时间,并与业务需求设定的阈值进行比对。