这一档模型的参数意味着什么
Ernie 32K 上下文模型系列,其 上下文长度 32000 决定了单次请求中模型能够处理的总字符数上限,这直接影响了知识库召回内容的最大承载量。引用上限 27000 规定了模型在生成回复时,可以从召回内容中引用的最大 token 数,这通常小于或等于上下文长度,并限制了知识库段落被实际引用的规模。图片输入 false 和 工具调用 false 表明该模型不具备图像理解能力,也无法直接执行外部工具函数,因此在 RAG 链路设计中,不需为其配置图像处理或工具调用相关的模块。
配 openGauss 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
OPENGAUSS_URL | postgresql://user:password@host:port/database | 数据库连接标准配置,确保 FastGPT 能够正确连接到 openGauss 实例。 |
ef_construction | 128 或 256 | 影响 HNSW 索引构建时的邻居搜索宽度,值越大索引质量越高,召回效果越好,但构建时间增加。 |
ef_search | 64 或 128 | 影响 HNSW 索引查询时的邻居搜索宽度,值越大召回精度越高,但查询耗时增加。 |
m | 32 | HNSW 索引中每个节点的最大连接数,影响索引结构和查询性能。 |
| 召回条数 | 前 5 条 | 结合模型引用上限,避免单次召回内容过多超出模型处理能力。 |
| 单段最大字符数 | 800–1200 字符 | 确保每条召回内容既包含足够信息,又不至于过长导致单次召回总字符数过高。 |
这两者互相约束的地方
Ernie 32K 上下文模型的 上下文长度 32000 与 openGauss 的向量召回结果密切相关。在 RAG 流程中,从 openGauss 召回的文本段落总字符数(召回条数 × 每段长度)必须严格控制在模型的 上下文长度 预算之内,否则可能导致模型截断输入或报错。同时,模型的 引用上限 27000 决定了实际能被模型用于生成回复的知识片段量。即使 openGauss 返回了多条结果,最终模型也只会引用不超过此上限的内容。openGauss 的索引参数,如 ef_construction 和 ef_search,调大后虽然能提升向量检索的精度,但也会增加查询耗时。对于 ernie-4.5-turbo-32k 这类模型,若查询耗时过长,可能导致整个请求链路超时,影响用户体验。因此,需在召回精度和查询效率之间取得平衡。
容易做错的三处
- 界面提示“上下文长度超限,部分召回内容被截断”:召回条数与每段字符数之积超过了
上下文长度 32000。 - 向量查询耗时过长,导致 API 请求超时:openGauss 的
ef_search或ef_construction参数设置过大,导致索引查询效率低下。 - 模型回答内容与知识库关联性差,但日志显示召回多条结果:
引用上限 27000限制了实际可引用内容,或召回的段落质量不高。
怎么确认配好了
- 检查 FastGPT 后台日志,确认 openGauss 数据库连接
OPENGAUSS_URL无报错信息。 - 在 FastGPT 知识库测试界面,调整召回条数和单段最大字符数,观察模型返回的引用内容是否完整且无截断提示,并参考模型
上下文长度 32000和引用上限 27000来确定合理的阈值。 - 对比不同
ef_construction和ef_search参数组合下的向量召回结果相关性与查询耗时,以确定满足业务需求的性能阈值。 - 模拟极端长文本或多段召回场景,观察模型响应速度和内容完整性,确保在
ernie-4.5-turbo-32k的引用上限 27000内表现稳定。