这一档模型的参数意味着什么
该模型档位提供 32000 的上下文长度,意味着单次请求中可供模型参考的输入文本总量上限。这直接影响知识库召回内容的数量与单段长度,需确保召回内容总字数不超过此限制。引用上限同样为 32000,表明模型在生成回答时,能参考的引用段落并非无限。图片输入能力允许模型处理视觉信息,为多模态应用场景提供基础。工具调用能力则支持模型与外部系统交互,扩展了其处理复杂任务的边界。
配 PostgreSQL(pgvector) 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
PG_URL | postgresql://user:password@host:port/database | FastGPT 连接 PostgreSQL 数据库的标准格式。 |
ef_construction | 80 | 控制 HNSW 索引构建时的邻居数量,影响索引质量与构建时间。 |
ef_search | 60 | 控制 HNSW 索引搜索时的邻居数量,影响召回精度与查询速度。 |
m | 32 | HNSW 索引中每个节点的最大连接数,影响索引大小与查询效率。 |
vector_ip_ops | true | 启用向量内积操作,适用于 FastGPT 默认的相似度计算方式。 |
| 召回条数 | 10-20 条 | 结合模型上下文长度与单段文本长度,确保总输入量在模型限制内。 |
这两者互相约束的地方
模型 32000 的上下文长度与引用上限,对 PostgreSQL(pgvector) 的召回策略形成直接约束。知识库召回的“条数 × 每段长度”之和,必须严格控制在 32000 上下文长度之内,避免因输入过长导致截断或性能下降。引用上限 32000 意味着即使向量库召回了更多条目,模型实际能引用的也受此限制。在 ef_construction 和 ef_search 等索引参数调大时,PostgreSQL(pgvector) 的召回精度通常会提升,但查询耗时也可能增加。这需要权衡,以确保在满足 FastGPT 响应速度要求的同时,提供高质量的召回结果给模型。向量库的召回条数应优先遵循模型引用上限,避免无谓的资源消耗。
容易做错的三处
- 报错信息显示
Input text too long:原因在于向量库召回的文本总量超过了模型 32000 的上下文长度限制。 - 知识库回答内容空泛或不准确:原因可能是
ef_search参数设置过低,导致向量检索的召回质量不佳。 - 响应时间过长,甚至超时:原因可能是
ef_construction或m参数设置过高,导致 HNSW 索引查询效率下降。
怎么确认配好了
- 部署 FastGPT 后,在知识库测试界面尝试不同长度的查询,观察模型是否能正确引用知识库内容,并检查返回的引用段落总字数是否在模型上下文长度限制内。
- 检查 FastGPT 运行日志,确认没有出现
Input text too long或Vector search error等异常信息。 - 通过 PostgreSQL 的
pg_stat_statements或类似工具,监控向量查询的平均响应时间,并与基线性能进行比较,确保查询效率在可接受范围内。 - 调整知识库召回条数和单段文本长度,观察模型回答质量和引用准确性,直至找到平衡点。