这一档模型的参数意味着什么
MistralAI 旗下 mistral-3b-latest、mistral-8b-latest、mistral-large-latest 等模型，其 130000 的上下文长度意味着单次请求中可承载的输入信息量极大，包括用户查询、历史对话以及从知识库召回的相关内容。单次最大输出虽未明确标注，但通常能满足生成长篇回答或复杂指令的需求。60000 的引用上限约束了在生成回答时，模型可以引用的知识库段落数量，这直接影响了 RAG（检索增强生成）场景下知识召回的广度。工具调用能力的存在，使得模型可以与外部系统进行交互，执行特定任务，提升了 Agent 的应用边界。不支持图片输入则表明该档模型主要处理文本信息，不适用于多模态检索或生成场景。
配 PostgreSQL（pgvector） 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
PG_URL | postgresql://user:password@host:port/database | 连接数据库的必要信息，确保可达性与权限。 |
vector_ip_ops | hnsw | HNSW（Hierarchical Navigable Small World）索引在向量检索中通常提供较好的性能与召回平衡。 |
ef_construction | 80 | 控制 HNSW 索引构建时的邻居数量，数值越大，索引质量越高，但构建时间更长。 |
ef_search | 60 | 控制 HNSW 查询时的搜索宽度，数值越大，召回率可能越高，但查询时间更长。 |
m = 32 | 32 | HNSW 索引中每个节点的最大连接数，影响索引的稠密程度和查询性能。 |
max_connections | 100 | 数据库最大并发连接数，根据应用并发量调整，避免连接池耗尽。 |
这两者互相约束的地方
模型 130000 的上下文长度与 PostgreSQL（pgvector） 的召回结果紧密相关。召回的段落总长度（召回条数 × 每段平均字符数）必须严格控制在 130000 字符以内，以避免超出模型输入限制而导致截断或错误。模型 60000 的引用上限，意味着即使 pgvector 返回了大量相关向量，最终能被模型用于引用的条目也受此上限约束。在实际应用中，通常会先通过 pgvector 检索出更多的候选条目，再根据引用上限进行筛选或排序。当 pgvector 的索引参数 ef_construction 或 ef_search 调大时，通常会提升向量检索的召回率，意味着模型在接收到更精准或更全面的上下文信息，从而可能生成更高质量的回答。然而，这也会增加数据库的计算负担和查询延迟。
容易做错的三处
- 日志显示
context_length_exceeded错误：原因在于召回的知识段落总长度加上用户查询及历史对话的总长度超过了 130000 的模型上下文限制。 - 返回的知识条目数量远低于预期：原因可能是 pgvector 的
ef_search参数设置过低，导致召回率不足；或者模型侧的引用上限配置过小。 - 查询响应时间过长，出现
timeout提示：原因可能是 pgvector 索引参数ef_construction或ef_search设置过高，导致索引构建或查询计算量过大。
怎么确认配好了
- 发送一个包含大量上下文的测试请求，观察模型是否成功处理并返回完整回答，同时检查响应时间是否在可接受范围内。
- 检索一个在知识库中存在多个相关段落的查询，确认返回的召回条数与引用条数符合预期，并检查模型回答是否有效利用了这些信息。
- 模拟高并发查询，观察 PostgreSQL 的
pg_stat_activity视图，确认连接数与查询负载在稳定区间，无大量慢查询或连接池溢出。 - 检查数据库日志，确保没有
ERROR或FATAL级别的 pgvector 相关错误信息。