这一档模型的参数意味着什么
Qwen 1000K 上下文这一档模型,其上下文长度高达 1000000 token,这决定了单次交互中可处理的输入信息总量。引用上限同样为 1000000 token,这限制了模型在生成回复时可以引用的外部知识内容的合计 Token 数量。引用上限是引用内容总体的 Token 预算,段落条数由检索侧的返回条数决定,两者是不同的衡量维度。模型不直接支持图片输入,但具备工具调用能力,这意味着可以通过外部工具集成实现多模态或复杂任务处理。
配 openGauss 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
OPENGAUSS_URL | postgresql://user:password@host:port/database | 数据库连接字符串,确保可访问性和权限 |
ef_construction | 100 | 索引构建参数,影响索引质量与构建速度的平衡点 |
ef_search | 64 | 搜索阶段参数,影响召回率与查询延迟的平衡点 |
m | 32 | HNSW 算法的邻居数量参数,影响索引结构与查询效率 |
chunk_size | 800–1200 字符 | 单个文本段落的长度范围,兼顾召回效率与模型上下文利用率 |
top_k | 前 5 条 | 向量检索返回的段落数量,与模型引用上限配合使用 |
这两者互相约束的地方
召回条数与每段长度的乘积不能超过这一档模型的上下文预算。引用上限按 token 计数,而向量库返回的结果按条数计数,谁先达到限制取决于每个段落的平均 token 长度。如果段落长度较短,则可以引用更多条目;如果段落长度较长,则引用条目数会相应减少以满足 token 限制。openGauss 的索引参数 ef_construction 和 ef_search 调大,通常会提升检索的准确性,这意味着模型在有限的引用上限内可以获得更相关的信息,从而提高回答质量。然而,过高的参数值也可能增加查询延迟,需要在实际部署中进行权衡。
容易做错的三处
- 日志中出现
connection refused错误,原因是OPENGAUSS_URL配置的主机或端口不正确。 - 模型返回的回答内容缺乏相关性,原因是
ef_search参数设置过低导致向量检索的召回率不足。 - 检索结果为空或返回条数远低于预期,原因是
m参数设置不当,导致 HNSW 索引结构不合理。
怎么确认配好了
- 执行一次向量插入操作,并通过
SELECT语句查询,确认数据成功写入 openGauss 数据库。 - 进行一次模拟检索,检查 FastGPT 界面返回的引用内容是否与预期知识库内容一致,并评估其相关性。
- 使用 FastGPT 的调试功能,查看实际传入模型的总 token 数量,确保引用内容的 token 数量在引用上限之内。