模型指南官方文档4 分钟阅读模型组合页

MistralAI 256K 上下文 这一档模型配 PostgreSQL(pgvector) 的配置口径

MistralAI 256K 上下文的这一系列模型,包含 `mistral-large-2512`、`mistral-small-2603` 和 `mistral-medium-3-5`,其 256000 的上下文长度,为一次对话或任务处理提供了充裕的输入空间。引用上限 240000 意味着在 RA

这一档模型的参数意味着什么

MistralAI 256K 上下文的这一系列模型,包含 mistral-large-2512、mistral-small-2603 和 mistral-medium-3-5,其 256000 的上下文长度,为一次对话或任务处理提供了充裕的输入空间。引用上限 240000 意味着在 RAG 场景下,可用于模型推理的知识段落总长度有明确限制。图片输入能力支持多模态交互,允许模型直接处理图像信息。工具调用功能则赋予模型执行外部动作的能力,扩展了其应用边界。这些参数共同塑造了模型在处理复杂、长文本、多模态及需要外部协作任务时的工程约束。

配 PostgreSQL(pgvector) 要定哪些

配置项建议取法这样取的依据
PG_URLpostgresql://user:password@host:port/database数据库连接标准格式,确保 FastGPT 能正确连接。
ef_construction64HNSW 索引构建参数,影响索引质量与构建速度。
ef_search40HNSW 索引查询参数,影响查询召回精度与速度。
m32HNSW 索引图层最大连接数,平衡内存占用与查询性能。
vector_ip_opstruepgvector 启用内积操作,用于优化向量相似度计算。
召回条数20-40 条平衡模型上下文与召回相关性,避免填充过多低相关性内容。

这两者互相约束的地方

模型 256000 的上下文长度与 240000 的引用上限,对 pgvector 返回的召回内容提出了明确的总长度限制。在 RAG 流程中,召回条数与每段知识的平均长度乘积,必须严格控制在 240000 字符以内,以避免超出模型输入限制。pgvector 的 ef_construction 和 ef_search 参数,影响着向量搜索的精度和速度。当这些索引参数调大时,通常能提高召回的准确性,这意味着模型能获取到更相关的上下文信息,但也可能略微增加查询延迟。FastGPT 的向量召回条数设定,应小于或等于 pgvector 实际返回的条数上限,并优先满足模型的引用上限约束。

容易做错的三处

  • 界面显示“模型上下文超出限制”,原因是召回内容总长度超过了 240000 字符。
  • 检索结果相关性差,原因是 pgvector 的 ef_search 参数设置过低,导致召回精度不足。
  • 数据库连接失败,原因是 PG_URL 配置错误或数据库防火墙未开放端口。

怎么确认配好了

  • 运行一次带知识库的对话,检查模型返回的引用段落总长度,确认未超出 240000 字符。
  • 通过 FastGPT 的调试接口,观察向量召回的条数和内容,确保与预期一致。
  • 监控 PostgreSQL 数据库的查询日志,确认 pgvector 索引被正确使用,且查询响应时间在可接受范围内。

参考资料