这一档模型的参数意味着什么
这一档模型（qwen-coder-turbo）具备 128000 的上下文长度，决定了在单次交互中能处理的总文本量上限。引用上限为 50000 token，这意味着用于 RAG 检索回的外部引用内容，其总 token 数不应超过此值。此参数与向量库召回的条数和每条内容的长度紧密相关。由于模型不支持图片输入和工具调用，因此基于这些功能的特定 RAG 链路无法启用。单次最大输出未标注，通常意味着模型会根据输入上下文和生成任务动态调整输出长度，但仍受限于总上下文长度。
配 PostgreSQL（pgvector） 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
PG_URL | postgresql://user:password@host:port/database | PostgreSQL 数据库的连接字符串，确保权限正确。 |
ef_construction | 80–120 | 控制 HNSW 索引构建时的邻居搜索范围，越大索引质量越高但构建时间越长。 |
ef_search | 60–100 | 控制 HNSW 索引查询时的邻居搜索范围，越大召回精度越高但查询时间越长。 |
m = 32 | 32 | HNSW 索引图中每个节点的最大连接数，影响索引结构密度和查询性能。 |
vector_dimensions | 1536 或 1024 | 向量维度需与生成向量的 embedding 模型输出维度一致。 |
max_connections | 按实测标定 | 数据库允许的最大并发连接数，避免连接池耗尽。 |
这两者互相约束的地方
模型 128000 的上下文长度和 50000 的引用上限，对 PostgreSQL（pgvector） 的召回策略有直接影响。向量库返回的是固定数量的文档段落，而模型的引用上限是这些段落总计的 token 预算。因此，召回条数乘以每段内容的平均长度（以 token 计）必须小于或等于引用上限 50000。当每段内容较短时，可以召回更多条目；若每段内容较长，则召回条数需相应减少，以避免超出引用上限。此外，PostgreSQL（pgvector） 的索引参数 ef_construction 和 ef_search 调大，会提升向量检索的精度，从而可能为模型提供更相关的上下文，但同时也会增加索引构建和查询的资源消耗。需要在保证召回质量的同时，确保整体延迟在可接受范围内。
容易做错的三处
- 日志显示「Context window exceeded: 128000」，原因是向量库召回内容总 token 数加上用户输入超出了模型上下文限制。
- RAG 回答内容不完整或缺乏细节，界面上引用的外部知识条目数量偏少，原因是引用内容总 token 数已达到 50000 的引用上限。
- 查询 RAG 响应时间过长，数据库连接池出现
connection timeout错误，原因是ef_search设置过高导致向量检索耗时，或max_connections配置不足。
怎么确认配好了
- 在 FastGPT 知识库中上传测试文档，并观察知识库分段结果，确认每段内容的平均 token 数在预期范围内。
- 进行多次问答测试，观察每次 RAG 召回的引用内容总 token 数，确保其稳定在 50000 引用上限以内。
- 通过 PostgreSQL 数据库监控工具，检查
pgvector索引的查询延迟，确保在可接受的毫秒级阈值内。 - 模拟高并发请求，观察数据库的连接数和 CPU 使用率，确保系统在高负载下稳定运行。