模型指南官方文档4 分钟阅读模型组合页

Siliconflow 32K 上下文 这一档模型配 PostgreSQL(pgvector) 的配置口径

该模型档位提供 32000 的上下文长度,意味着单次请求中可供模型参考的输入文本总量上限。这直接影响知识库召回内容的数量与单段长度,需确保召回内容总字数不超过此限制。引用上限同样为 32000,表明模型在生成回答时,能参考的引用段落并非无限。图片输入能力允许模型处理视觉信息,为多模态应用场景提供基础

这一档模型的参数意味着什么

该模型档位提供 32000 的上下文长度,意味着单次请求中可供模型参考的输入文本总量上限。这直接影响知识库召回内容的数量与单段长度,需确保召回内容总字数不超过此限制。引用上限同样为 32000,表明模型在生成回答时,能参考的引用段落并非无限。图片输入能力允许模型处理视觉信息,为多模态应用场景提供基础。工具调用能力则支持模型与外部系统交互,扩展了其处理复杂任务的边界。

配 PostgreSQL(pgvector) 要定哪些

配置项建议取法这样取的依据
PG_URLpostgresql://user:password@host:port/databaseFastGPT 连接 PostgreSQL 数据库的标准格式。
ef_construction80控制 HNSW 索引构建时的邻居数量,影响索引质量与构建时间。
ef_search60控制 HNSW 索引搜索时的邻居数量,影响召回精度与查询速度。
m32HNSW 索引中每个节点的最大连接数,影响索引大小与查询效率。
vector_ip_opstrue启用向量内积操作,适用于 FastGPT 默认的相似度计算方式。
召回条数10-20 条结合模型上下文长度与单段文本长度,确保总输入量在模型限制内。

这两者互相约束的地方

模型 32000 的上下文长度与引用上限,对 PostgreSQL(pgvector) 的召回策略形成直接约束。知识库召回的“条数 × 每段长度”之和,必须严格控制在 32000 上下文长度之内,避免因输入过长导致截断或性能下降。引用上限 32000 意味着即使向量库召回了更多条目,模型实际能引用的也受此限制。在 ef_construction 和 ef_search 等索引参数调大时,PostgreSQL(pgvector) 的召回精度通常会提升,但查询耗时也可能增加。这需要权衡,以确保在满足 FastGPT 响应速度要求的同时,提供高质量的召回结果给模型。向量库的召回条数应优先遵循模型引用上限,避免无谓的资源消耗。

容易做错的三处

  • 报错信息显示 Input text too long:原因在于向量库召回的文本总量超过了模型 32000 的上下文长度限制。
  • 知识库回答内容空泛或不准确:原因可能是 ef_search 参数设置过低,导致向量检索的召回质量不佳。
  • 响应时间过长,甚至超时:原因可能是 ef_construction 或 m 参数设置过高,导致 HNSW 索引查询效率下降。

怎么确认配好了

  • 部署 FastGPT 后,在知识库测试界面尝试不同长度的查询,观察模型是否能正确引用知识库内容,并检查返回的引用段落总字数是否在模型上下文长度限制内。
  • 检查 FastGPT 运行日志,确认没有出现 Input text too long 或 Vector search error 等异常信息。
  • 通过 PostgreSQL 的 pg_stat_statements 或类似工具,监控向量查询的平均响应时间,并与基线性能进行比较,确保查询效率在可接受范围内。
  • 调整知识库召回条数和单段文本长度,观察模型回答质量和引用准确性,直至找到平衡点。

参考资料