这一档模型的参数意味着什么
StepFun 这一档模型,具备 256000 的上下文长度,这意味着在一次对话中可以输入极长的文本信息,为复杂的问答和文档分析提供了充足的空间。引用上限 240000 规定了知识库召回内容在模型输入中的最大字符限制,直接影响了知识库段落的引用深度。模型支持图片输入,允许在对话中处理视觉信息。同时,支持工具调用,使得模型能够与外部系统进行交互,执行特定任务,扩展了其应用场景。
配 PostgreSQL(pgvector) 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
PG_URL | postgresql://user:password@host:port/database | 数据库连接字符串,确保可访问性和权限正确 |
ef_construction | 80–120 | 控制 HNSW 索引构建时的邻居数量,影响构建速度与查询精度平衡 |
ef_search | 60–100 | 控制 HNSW 索引查询时的邻居数量,影响查询速度与召回精度平衡 |
m | 32 | HNSW 索引中每个节点的最大出度,影响索引大小和查询性能 |
vector_ip_ops | true | 启用内积操作符,优化向量相似度计算性能 |
| 召回条数 | 20–30 | 经验值,平衡召回范围与模型上下文长度限制 |
这两者互相约束的地方
模型上下文长度和 PostgreSQL(pgvector)的召回策略之间存在直接约束。当知识库召回的条数乘以每段文本的平均长度,其总和不能超过模型上下文长度 256000 的限制。如果超出,模型会截断输入,导致信息丢失或回答不完整。引用上限 240000 是模型层面的硬性约束,即使向量库返回了更多内容,模型也只会处理不超过此上限的数据。这意味着在 ef_search 参数调高,使得 pgvector 能够返回更多潜在相关结果时,仍需确保最终送入模型的内容符合引用上限。索引参数 ef_construction 和 ef_search 的调整会影响 pgvector 的召回效率和精度。若这些参数设置不当,可能导致模型接收到不相关的召回内容,或无法充分利用其庞大的上下文处理能力。
容易做错的三处
- 错误现象:模型返回的回答内容缺失关键信息,或提示上下文过长。原因:知识库召回条数过多,或每段文本长度过长,导致总输入字符数超过 256000 上下文长度限制。
- 错误现象:日志中出现
connection refused或authentication failed错误。原因:PG_URL配置不正确,数据库地址、端口、用户名或密码有误,导致无法建立数据库连接。 - 错误现象:模型回答缺乏知识库引用支撑,或引用内容与问题不相关。原因:
ef_search参数设置过低,导致 pgvector 在查询时未能召回足够的相关向量,或m参数设置不合理影响了索引质量。
怎么确认配好了
- 在 FastGPT 知识库管理界面,上传文档并进行向量化处理,检查向量化任务是否成功完成,确认
pgvector存储了向量数据。 - 通过 FastGPT 的调试模式,观察模型输入中的上下文长度和引用内容,确保召回条数与每段长度之和未超过 256000 上下文限制,且引用内容符合 240000 的上限。
- 执行一系列包含长文本和复杂语义的问答,并检查模型输出的回答质量和引用准确性,评估
ef_construction和ef_search参数对召回效果的影响,与预期效果进行对比。