这一档模型的参数意味着什么
此档模型具备 131000 的上下文长度,意味着单次请求可处理的输入文本量上限较高。模型单次最大输出未明确标注,实际输出长度需通过测试确定。引用上限 100000 规定了知识库在生成回复时可引用的最大令牌数,对召回策略有直接影响。不支持图片输入,表明图像相关处理链路不适用于此档模型。支持工具调用,为通过外部工具扩展模型能力提供了基础。
配 PostgreSQL(pgvector) 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
PG_URL | postgresql://user:password@host:port/database | FastGPT 连接 pgvector 数据库的标准格式。 |
m | 32 | 向量索引构建时每个节点的最大连接数,平衡查询速度与索引大小。 |
ef_construction | 800–1200 | HNSW 索引构建时的邻居搜索参数,影响索引质量和构建时间。 |
ef_search | 100–200 | HNSW 索引查询时的邻居搜索参数,影响查询召回率和速度。 |
vector_ip_ops | true | 启用内积距离运算,适用于需要计算向量相似度的场景。 |
| 召回条数 | 前 5–10 条 | 结合模型引用上限与单段长度,避免超出上下文预算。 |
这两者互相约束的地方
模型 131000 的上下文长度是其处理能力的上限。在 RAG 场景中,这意味着召回条数与每条召回内容的长度之和不能超过这个限制。如果向量库返回的召回条数过多或单段内容过长,可能会导致模型输入截断或性能下降。模型 100000 的引用上限进一步约束了实际可用于回答的知识内容总量。即使 pgvector 返回了大量相关结果,模型也只会使用其中符合引用上限的部分。因此,向量库的召回条数配置应与模型的引用上限和上下文长度协同考量,通常以引用上限为主要约束。同时,pgvector 的 ef_search 参数调大,虽然能提高召回率,但会增加查询时间,可能导致模型等待时间延长,影响用户体验。
容易做错的三处
PG_URL连接失败,报fe_sendauth: no password supplied错误。原因:数据库连接字符串中未包含正确的用户密码。- 召回结果与预期不符,部分相关内容未被引用。原因:
ef_search参数设置过低,导致向量检索召回率不足。 - 模型返回的回答内容明显缩短或不完整。原因:召回内容总长度超出模型上下文长度或引用上限,导致输入被截断。
怎么确认配好了
- 检查 FastGPT 系统日志,确认
PG_URL配置成功,没有数据库连接错误。 - 部署测试知识库,上传包含多段长文本的文档,通过 FastGPT 调试界面观察召回内容是否与用户提问高度相关,并检查召回条数是否符合预期。
- 进行多轮对话测试,观察模型回答是否能充分利用知识库内容,并且回答长度在合理范围内,无明显截断现象。
- 监控 pgvector 数据库的查询性能,确保在
ef_search和m参数设定下,查询延迟在可接受范围内。