模型指南官方文档4 分钟阅读模型组合页

ChatGLM 16K 上下文 这一档模型配 openGauss 的配置口径

`glm-4v-plus` 模型以其 16000 的上下文长度,决定了单次交互中可处理的总文本量,包括用户输入、历史对话以及知识库召回内容。12000 的引用上限,意味着在 RAG 场景下,模型可以参考的知识库分段数量有明确的上限。图片输入能力支持多模态交互,允许模型直接理解图像内容。工具调用能力的

这一档模型的参数意味着什么

glm-4v-plus 模型以其 16000 的上下文长度,决定了单次交互中可处理的总文本量,包括用户输入、历史对话以及知识库召回内容。12000 的引用上限,意味着在 RAG 场景下,模型可以参考的知识库分段数量有明确的上限。图片输入能力支持多模态交互,允许模型直接理解图像内容。工具调用能力的缺失,则表明此模型不适用于需要模型自主执行外部 API 或函数调用的场景,RAG 链路将专注于文本理解与生成。

配 openGauss 要定哪些

配置项建议取法这样取的依据
OPENGAUSS_URLpostgresql://user:password@host:port/databaseFastGPT 连接 openGauss 数据库的标准连接字符串格式。
ef_construction80–120构建 HNSW 索引时,每个节点建立的最近邻连接数,影响索引质量与构建速度。
ef_search60–100查询 HNSW 索引时,搜索过程中遍历的最近邻节点数,影响召回精度与查询速度。
m32HNSW 索引中,每个层级上每个节点的最大连接数,影响索引的内存占用和查询性能。
recall_top_k5–8向量检索时,从 openGauss 返回的向量数量,直接影响模型可引用的潜在条目。
chunk_size800–1200 字符知识库分段的文本长度,需配合模型上下文与召回数量进行调整。

这两者互相约束的地方

glm-4v-plus 模型的 16000 上下文长度是核心约束。知识库召回内容的总长度,即召回条数乘以每段平均字符数,必须严格控制在此上限之内,否则会导致截断或理解不完整。模型的 12000 引用上限,则限制了 FastGPT 从 openGauss 召回并传递给模型的知识分段数量。这意味着即使 openGauss 能够检索到更多结果,最终进入模型处理的条目也会被限制在 12000 条以内。因此,recall_top_k 参数在 openGauss 中设置的值,应确保在与知识分段长度结合后,不会超出现有模型的上下文预算,且最终传递给模型的引用条数不超过 12000。openGauss 的 ef_construction 和 ef_search 参数调大,会提升向量检索的精度,从而为模型提供更相关的知识片段,但同时也会增加索引构建和查询的时间成本。

容易做错的三处

  • 日志显示「Context window exceeded」,原因是知识库分段过长或召回条数过多,导致总输入文本量超过 16000 字符。
  • 模型回答缺乏相关性,但向量库返回了大量结果,原因是 recall_top_k 设置过高,但实际引用上限 12000 导致部分相关内容未被模型处理。
  • 查询耗时过长,原因是 openGauss 的 ef_search 参数设置过大,导致向量检索遍历节点数过多,影响响应速度。

怎么确认配好了

  • 在 FastGPT 知识库管理界面,上传文档后检查分段数量与平均分段长度,确保与 chunk_size 配置一致。
  • 进行一次 RAG 查询,观察 FastGPT 后台日志中实际传递给模型的引用条数,确保未超出 12000 的引用上限。
  • 通过 FastGPT 的调试界面,查看模型最终接收的完整 prompt,核对知识库内容与用户查询的总字符数是否在 16000 上下文长度内。
  • 使用 openGauss 提供的 EXPLAIN ANALYZE 命令,分析向量检索查询的执行计划和耗时,评估 ef_search 参数对查询性能的影响。

参考资料