这一档模型的参数意味着什么
DeepSeek 1000K 上下文模型系列,其上下文长度高达 1000000 token,为处理超长文档或复杂对话提供了充足空间。引用上限 960000 token,意味着在 RAG 场景中,模型可以接收非常大量的检索内容作为补充信息。引用内容的总 token 预算由引用上限决定。段落条数由检索系统返回的实际条数决定。当启用工具调用功能时,模型能够执行预设的外部函数以完成特定任务。图片输入能力则允许模型理解并处理图像信息,扩展了多模态交互的可能性。
配 PostgreSQL(pgvector) 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
PG_URL | postgresql://user:password@host:port/database | 数据库连接标准格式,确保可达性 |
ef_construction | 80–120 | HNSW 索引构建参数,影响索引质量与构建速度 |
ef_search | 60–100 | HNSW 搜索参数,平衡召回率与查询延迟 |
m | 32 | HNSW 图结构参数,影响内存占用与查询性能 |
vector_dimensions | 1536 | 向量维度,需与模型输出向量维度一致 |
max_connections | 按实测标定 | 数据库最大并发连接数,依据实际负载调整 |
这两者互相约束的地方
DeepSeek 1000K 上下文模型与 PostgreSQL (pgvector) 结合时,关键在于协调模型的 1000000 token 上下文长度和 960000 token 的引用上限。向量库返回的检索结果以条数计,而模型引用内容按 token 计。引用内容的 token 总量不能超出 960000。当单段文本较短时,可以引用更多段落;当单段文本较长时,即使段落数量不多也可能迅速达到引用上限。向量库的索引参数,如 ef_construction 和 ef_search 调大,通常会提高检索召回率,意味着模型在更广阔的候选集中获取信息。高召回率有助于模型在复杂问答中找到更相关的上下文,但同时也可能增加需要处理的引用内容总量。
容易做错的三处
- 日志显示
Error: context window exceeded:原因是召回内容与用户输入合计 token 数超过了1000000。 - 查询等待时间过长,甚至超时:原因是
ef_search设置过高,导致向量检索计算量过大。 - 返回结果相关性低,但段落数量充足:原因是
ef_construction或m设置不当,影响了索引的构建质量。
怎么确认配好了
- 进行模拟对话,观察模型在引用长文档时是否能保持流畅和准确,同时检查日志中是否存在 token 超限警告。
- 使用 FastGPT 提供的调试工具,检查检索阶段返回的向量条数和每条内容的 token 长度,确保它们在引用上限
960000token 内。 - 通过
EXPLAIN ANALYZE命令分析 pgvector 索引查询的执行计划,确认 HNSW 索引被有效利用,且查询耗时在可接受范围内。 - 监测数据库连接池的活跃连接数,确保
max_connections配置能支撑并发请求。