这一档模型的参数意味着什么
这一档模型,包括 gpt-5.4-mini 和 gpt-5.3-codex 等,具备 400000 的上下文长度,这意味着在单次交互中可以处理极大的信息量。引用上限 350000 token 专门用于预算引用内容的消耗,它限定了引用内容合计的 token 数量。段落条数则由检索侧返回的实际数量决定,这两个量是相互独立的。模型支持图片输入,能够处理多模态信息;同时支持工具调用,可以在对话过程中集成外部功能或服务。
配 openGauss 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
OPENGAUSS_URL | postgresql://user:password@host:port/database | 数据库连接的通用标准,确保 FastGPT 可以正确连接到 openGauss 实例。 |
ef_construction | 64 | 影响索引构建时的图连接数,数值越大,索引质量越高,但构建时间也越长。 |
ef_search | 64 | 影响查询时遍历的图节点数,数值越大,召回精度越高,但查询延迟也越大。 |
m | 32 | HNSW 图中每个节点的最大连接数,影响索引的内存占用和查询效率。 |
| 召回条数 | 前 50 条 | 结合模型引用上限与平均段落长度,平衡召回范围与上下文预算。 |
| 单段最大字符数 | 800–1000 字符 | 避免单段过长导致 token 消耗过快,同时保证内容完整性。 |
这两者互相约束的地方
模型 400000 的上下文长度对可处理的总信息量设定了上限。召回条数与每段内容长度的乘积,必须控制在这一上下文预算之内,以避免信息截断。引用上限 350000 token 专门用于限制引用内容的 token 总量,而 openGauss 向量库返回的是固定数量的段落条数。两者谁先达到限制,取决于每段内容的平均 token 长度。当 ef_construction 和 ef_search 等索引参数调大时,openGauss 向量检索的准确性和召回质量会提升,这意味着 FastGPT 能够获得更相关、更精准的引用内容,从而更好地利用模型的引用上限预算。
容易做错的三处
- 现象:RAG 模式下模型回复内容不完整或缺乏关键信息。原因:召回条数设置过低,未能提供足够的上下文信息给模型。
- 现象:FastGPT 日志显示数据库连接失败,错误码
SQLSTATE 08001。原因:OPENGAUSS_URL配置错误,导致无法建立与 openGauss 实例的连接。 - 现象:向量检索响应时间过长,导致整个请求超时。原因:
ef_search值设置过高,使得 openGauss 在查询时遍历了过多的图节点。
怎么确认配好了
- 运行 FastGPT 并观察日志,确认
OPENGAUSS_URL连接成功且无异常报错。 - 通过 FastGPT 的 RAG 调试界面,测试不同查询,观察召回条数是否符合预期,以及返回内容的质量。
- 监控 openGauss 数据库的 CPU、内存和 I/O 使用情况,评估
ef_construction和ef_search调整后对系统资源的占用是否在可接受范围内。