这一档模型的参数意味着什么
MistralAI 256K 上下文的这一系列模型,包含 mistral-large-2512、mistral-small-2603 和 mistral-medium-3-5,其 256000 的上下文长度,为一次对话或任务处理提供了充裕的输入空间。引用上限 240000 意味着在 RAG 场景下,可用于模型推理的知识段落总长度有明确限制。图片输入能力支持多模态交互,允许模型直接处理图像信息。工具调用功能则赋予模型执行外部动作的能力,扩展了其应用边界。这些参数共同塑造了模型在处理复杂、长文本、多模态及需要外部协作任务时的工程约束。
配 PostgreSQL(pgvector) 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
PG_URL | postgresql://user:password@host:port/database | 数据库连接标准格式,确保 FastGPT 能正确连接。 |
ef_construction | 64 | HNSW 索引构建参数,影响索引质量与构建速度。 |
ef_search | 40 | HNSW 索引查询参数,影响查询召回精度与速度。 |
m | 32 | HNSW 索引图层最大连接数,平衡内存占用与查询性能。 |
vector_ip_ops | true | pgvector 启用内积操作,用于优化向量相似度计算。 |
| 召回条数 | 20-40 条 | 平衡模型上下文与召回相关性,避免填充过多低相关性内容。 |
这两者互相约束的地方
模型 256000 的上下文长度与 240000 的引用上限,对 pgvector 返回的召回内容提出了明确的总长度限制。在 RAG 流程中,召回条数与每段知识的平均长度乘积,必须严格控制在 240000 字符以内,以避免超出模型输入限制。pgvector 的 ef_construction 和 ef_search 参数,影响着向量搜索的精度和速度。当这些索引参数调大时,通常能提高召回的准确性,这意味着模型能获取到更相关的上下文信息,但也可能略微增加查询延迟。FastGPT 的向量召回条数设定,应小于或等于 pgvector 实际返回的条数上限,并优先满足模型的引用上限约束。
容易做错的三处
- 界面显示“模型上下文超出限制”,原因是召回内容总长度超过了 240000 字符。
- 检索结果相关性差,原因是 pgvector 的
ef_search参数设置过低,导致召回精度不足。 - 数据库连接失败,原因是
PG_URL配置错误或数据库防火墙未开放端口。
怎么确认配好了
- 运行一次带知识库的对话,检查模型返回的引用段落总长度,确认未超出 240000 字符。
- 通过 FastGPT 的调试接口,观察向量召回的条数和内容,确保与预期一致。
- 监控 PostgreSQL 数据库的查询日志,确认 pgvector 索引被正确使用,且查询响应时间在可接受范围内。