模型指南官方文档3 分钟阅读模型组合页

Qwen 1000K 上下文 这一档模型配 openGauss 的配置口径

Qwen 1000K 上下文这一档模型,其上下文长度高达 1000000 token,这决定了单次交互中可处理的输入信息总量。引用上限同样为 1000000 token,这限制了模型在生成回复时可以引用的外部知识内容的合计 Token 数量。引用上限是引用内容总体的 Token 预算,段落条数由检索

这一档模型的参数意味着什么

Qwen 1000K 上下文这一档模型,其上下文长度高达 1000000 token,这决定了单次交互中可处理的输入信息总量。引用上限同样为 1000000 token,这限制了模型在生成回复时可以引用的外部知识内容的合计 Token 数量。引用上限是引用内容总体的 Token 预算,段落条数由检索侧的返回条数决定,两者是不同的衡量维度。模型不直接支持图片输入,但具备工具调用能力,这意味着可以通过外部工具集成实现多模态或复杂任务处理。

配 openGauss 要定哪些

配置项建议取法这样取的依据
OPENGAUSS_URLpostgresql://user:password@host:port/database数据库连接字符串,确保可访问性和权限
ef_construction100索引构建参数,影响索引质量与构建速度的平衡点
ef_search64搜索阶段参数,影响召回率与查询延迟的平衡点
m32HNSW 算法的邻居数量参数,影响索引结构与查询效率
chunk_size800–1200 字符单个文本段落的长度范围,兼顾召回效率与模型上下文利用率
top_k前 5 条向量检索返回的段落数量,与模型引用上限配合使用

这两者互相约束的地方

召回条数与每段长度的乘积不能超过这一档模型的上下文预算。引用上限按 token 计数,而向量库返回的结果按条数计数,谁先达到限制取决于每个段落的平均 token 长度。如果段落长度较短,则可以引用更多条目;如果段落长度较长,则引用条目数会相应减少以满足 token 限制。openGauss 的索引参数 ef_construction 和 ef_search 调大,通常会提升检索的准确性,这意味着模型在有限的引用上限内可以获得更相关的信息,从而提高回答质量。然而,过高的参数值也可能增加查询延迟,需要在实际部署中进行权衡。

容易做错的三处

  • 日志中出现 connection refused 错误,原因是 OPENGAUSS_URL 配置的主机或端口不正确。
  • 模型返回的回答内容缺乏相关性,原因是 ef_search 参数设置过低导致向量检索的召回率不足。
  • 检索结果为空或返回条数远低于预期,原因是 m 参数设置不当,导致 HNSW 索引结构不合理。

怎么确认配好了

  • 执行一次向量插入操作,并通过 SELECT 语句查询,确认数据成功写入 openGauss 数据库。
  • 进行一次模拟检索,检查 FastGPT 界面返回的引用内容是否与预期知识库内容一致,并评估其相关性。
  • 使用 FastGPT 的调试功能,查看实际传入模型的总 token 数量,确保引用内容的 token 数量在引用上限之内。

参考资料