模型指南官方文档4 分钟阅读模型组合页

SparkDesk 128K 上下文 这一档模型配 openGauss 的配置口径

SparkDesk pro-128k 模型具备 128000 的上下文长度,这意味着在单次对话中能够处理的输入总长度上限。这直接决定了FastGPT在RAG(检索增强生成)场景下,可以向模型塞入的召回文本总量。引用上限同样为 128000,这表明模型在生成回复时,可以从知识库中引用的文本片段总长度上

这一档模型的参数意味着什么

SparkDesk pro-128k 模型具备 128000 的上下文长度,这意味着在单次对话中能够处理的输入总长度上限。这直接决定了FastGPT在RAG(检索增强生成)场景下,可以向模型塞入的召回文本总量。引用上限同样为 128000,这表明模型在生成回复时,可以从知识库中引用的文本片段总长度上限。模型不支持图片输入和工具调用,因此在FastGPT中,无法利用图像信息进行检索或执行外部工具函数。这些参数共同构成了FastGPT在处理知识问答时的工程约束,需要合理配置向量召回策略以充分利用模型能力。

配 openGauss 要定哪些

配置项建议取法这样取的依据
OPENGAUSS_URLpostgresql://user:password@host:port/databaseFastGPT 连接 openGauss 数据库的通用格式,确保数据库可访问
ef_construction64HNSW 索引构建参数,影响索引质量与构建速度,64 是常见平衡值
ef_search32HNSW 索引搜索参数,影响搜索精度与速度,可根据实际 QPS 压力调整
m32HNSW 图层连接数,影响索引结构紧密程度,32 为 openGauss 默认且性能较优
召回条数5–8 条结合模型上下文长度与单段文本长度,控制总输入在模型上限内
单段文本长度800–1200 字符经验值,便于模型理解并减少截断,可根据知识库内容特性调整

这两者互相约束的地方

SparkDesk pro-128k 模型的 128000 上下文长度是核心约束。这意味着 FastGPT 从 openGauss 召回的文本总长度,加上用户提问和系统提示词,不能超出此限制。如果召回条数乘以每段文本长度超出模型上下文预算,则部分召回内容会被截断,导致信息丢失。引用上限 128000 与向量库返回条数共同作用,实际生效的是两者中较小的那一个,即模型最终能引用的内容不会超过其自身上限,也不会超过向量库实际返回的条数所能提供的文本量。openGauss 的 ef_construction 和 ef_search 参数调大,通常会提高向量检索的精度,这意味着模型能获得更相关的信息。然而,这也可能增加 openGauss 的计算负担和检索延迟,需要在实际部署中进行性能测试以找到平衡点。

容易做错的三处

  • 界面显示“上下文超出限制”:原因通常是召回条数与单段文本长度乘积过大,导致总输入超过模型 128000 的上下文上限。
  • 检索结果相关性差:原因可能是 openGauss 的 ef_search 或 ef_construction 参数设置过低,导致 HNSW 索引搜索精度不足。
  • 数据库连接错误 psql: could not connect to server:原因通常是 OPENGAUSS_URL 配置不正确,如端口、用户名或密码有误,或数据库未启动。

怎么确认配好了

  • 验证 FastGPT 日志中是否成功连接 openGauss 数据库,无连接错误信息。
  • 在 FastGPT 中上传知识库,观察索引构建过程是否顺畅,无异常报错。
  • 进行多次问答测试,观察模型回复是否包含知识库中的关键信息,并检查引用的内容是否完整且相关。
  • 监控 openGauss 数据库的 CPU 和内存使用率,确保在问答高峰期资源占用在可接受范围内。

参考资料