模型指南官方文档4 分钟阅读模型组合页

OpenAI 131K 上下文 这一档模型配 PostgreSQL(pgvector) 的配置口径

此档模型具备 131000 的上下文长度,意味着单次请求可处理的输入文本量上限较高。模型单次最大输出未明确标注,实际输出长度需通过测试确定。引用上限 100000 规定了知识库在生成回复时可引用的最大令牌数,对召回策略有直接影响。不支持图片输入,表明图像相关处理链路不适用于此档模型。支持工具调用,为

这一档模型的参数意味着什么

此档模型具备 131000 的上下文长度,意味着单次请求可处理的输入文本量上限较高。模型单次最大输出未明确标注,实际输出长度需通过测试确定。引用上限 100000 规定了知识库在生成回复时可引用的最大令牌数,对召回策略有直接影响。不支持图片输入,表明图像相关处理链路不适用于此档模型。支持工具调用,为通过外部工具扩展模型能力提供了基础。

配 PostgreSQL(pgvector) 要定哪些

配置项建议取法这样取的依据
PG_URLpostgresql://user:password@host:port/databaseFastGPT 连接 pgvector 数据库的标准格式。
m32向量索引构建时每个节点的最大连接数,平衡查询速度与索引大小。
ef_construction800–1200HNSW 索引构建时的邻居搜索参数,影响索引质量和构建时间。
ef_search100–200HNSW 索引查询时的邻居搜索参数,影响查询召回率和速度。
vector_ip_opstrue启用内积距离运算,适用于需要计算向量相似度的场景。
召回条数前 5–10 条结合模型引用上限与单段长度,避免超出上下文预算。

这两者互相约束的地方

模型 131000 的上下文长度是其处理能力的上限。在 RAG 场景中,这意味着召回条数与每条召回内容的长度之和不能超过这个限制。如果向量库返回的召回条数过多或单段内容过长,可能会导致模型输入截断或性能下降。模型 100000 的引用上限进一步约束了实际可用于回答的知识内容总量。即使 pgvector 返回了大量相关结果,模型也只会使用其中符合引用上限的部分。因此,向量库的召回条数配置应与模型的引用上限和上下文长度协同考量,通常以引用上限为主要约束。同时,pgvector 的 ef_search 参数调大,虽然能提高召回率,但会增加查询时间,可能导致模型等待时间延长,影响用户体验。

容易做错的三处

  • PG_URL 连接失败,报 fe_sendauth: no password supplied 错误。原因:数据库连接字符串中未包含正确的用户密码。
  • 召回结果与预期不符,部分相关内容未被引用。原因:ef_search 参数设置过低,导致向量检索召回率不足。
  • 模型返回的回答内容明显缩短或不完整。原因:召回内容总长度超出模型上下文长度或引用上限,导致输入被截断。

怎么确认配好了

  • 检查 FastGPT 系统日志,确认 PG_URL 配置成功,没有数据库连接错误。
  • 部署测试知识库,上传包含多段长文本的文档,通过 FastGPT 调试界面观察召回内容是否与用户提问高度相关,并检查召回条数是否符合预期。
  • 进行多轮对话测试,观察模型回答是否能充分利用知识库内容,并且回答长度在合理范围内,无明显截断现象。
  • 监控 pgvector 数据库的查询性能,确保在 ef_search 和 m 参数设定下,查询延迟在可接受范围内。

参考资料