这一档模型的参数意味着什么
MistralAI 131K 上下文模型系列,其 131000 的上下文长度,决定了单次请求中模型能处理的输入文本总量上限,包括用户提问、系统指令和知识库召回内容。120000 的引用上限,则直接约束了知识库召回段落的总字符数。图片输入能力允许模型处理视觉信息,为多模态 RAG 提供了基础。工具调用能力则意味着模型可以与外部函数或 API 进行交互,扩展其解决问题的范围。这些特性共同构成了模型在 RAG 应用中的行为边界。
配 PostgreSQL(pgvector) 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
PG_URL | postgresql://user:password@host:port/database | 数据库连接字符串,确保网络可达性。 |
ef_construction | 64 | 影响 HNSW 索引构建质量和速度,权衡查询召回率与索引构建时间。 |
ef_search | 40 | 影响 HNSW 索引查询时的召回率和速度,数值越大召回越全面但耗时越长。 |
m | 32 | HNSW 索引层中每个节点的最大连接数,影响索引结构和查询性能。 |
vector_ip_ops | true | 启用或禁用内积相似度计算,适用于某些特定的嵌入模型。 |
| RAG 召回条数 | 10-20 条 | 结合模型引用上限和单段长度,避免上下文溢出。 |
这两者互相约束的地方
MistralAI 131K 上下文模型与 PostgreSQL(pgvector)的集成,核心在于合理管理模型的上下文预算。知识库召回的“召回条数 × 每段长度”之和,必须严格控制在 131000 的上下文长度之内,同时不能超过 120000 的引用上限。这意味着,即使 pgvector 返回了大量相关结果,最终传递给模型的段落数量和总长度也受模型引用上限的制约。此外,pgvector 的索引参数如 ef_construction 和 ef_search 的调优,会直接影响召回的质量和速度。高 ef_search 值可以提高召回率,但会增加查询延迟,这在模型需要快速响应的场景下,可能导致用户体验下降。
容易做错的三处
PG_URL配置错误,导致 FastGPT 启动时报错database connection failed。ef_search设置过低,导致模型在 RAG 问答时出现相关知识召回不足或信息缺失的情况。- RAG 召回条数设置过高,导致模型输入时出现
context window exceeded错误。
怎么确认配好了
- 检查 FastGPT 启动日志,确认数据库连接成功,无
pgvector相关的连接错误信息。 - 在 FastGPT 知识库中上传文档并进行向量化,观察向量化任务是否成功完成,无
embedding failed错误。 - 进行一次 RAG 问答测试,通过 FastGPT 的调试界面查看召回的知识段落数量和总长度,确保其在模型引用上限和上下文长度范围内。
- 对比不同
ef_search值下的 RAG 问答效果,根据业务需求和响应时间要求,确定合适的阈值。