这一档模型的参数意味着什么
Hunyuan 这一档模型,具备 224000 的上下文长度,意味着单次请求可处理的输入信息量极大,为复杂问答和长文档理解提供了充足空间。引用上限同样为 224000,这直接决定了知识库召回内容可被模型引用的最大长度。值得注意的是,该模型不支持图片输入和工具调用,因此基于图片内容的问答和需要外部工具协作的任务,需要通过其他方式或模型进行处理。单次最大输出未明确标注,通常由模型内部机制控制,在实际使用中需关注其输出长度表现。
配 openGauss 要定哪些
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
OPENGAUSS_URL | postgresql://user:password@host:port/database | 数据库连接字符串,确保可访问性和权限正确。 |
ef_construction | 800 | 影响索引构建时的邻居搜索范围,数值越大索引质量越高,但构建时间增加。 |
ef_search | 100 | 影响查询时的邻居搜索范围,数值越大召回率越高,但查询耗时增加。 |
m | 32 | HNSW 图的层数参数,影响索引的内存占用和查询性能,通常取 16-64 之间。 |
| 召回条数 | 前 5 条 | 结合模型上下文长度和单段文本长度,确保召回内容能被模型充分处理。 |
| 单段文本长度 | 1500 字符 | 避免单段文本过长导致模型处理效率下降或信息冗余。 |
这两者互相约束的地方
Hunyuan 这一档模型的高上下文长度,为 openGauss 向量库的召回策略提供了广阔空间。召回条数与每段文本长度的乘积,必须严格控制在 224000 的上下文预算之内,否则模型将无法处理超出部分。引用上限 224000 意味着,即使向量库返回了大量结果,模型也只会引用其中总长度不超过此限制的部分。因此,向量库的召回条数配置应与模型的引用上限相协调,避免无效召回。当 openGauss 的索引参数 ef_construction 或 ef_search 调大时,通常会提升召回的精确度和全面性,为模型提供更优质的输入,但也可能增加查询延迟,需在性能和效果之间取得平衡。
容易做错的三处
- 日志显示
ERROR: database "xxx" does not exist:OPENGAUSS_URL中指定的数据库名不存在或连接权限不足。 - 模型返回的引用内容不足或质量不佳:向量库的
ef_search参数过低,导致召回的相似文本数量或质量不达标。 - 查询等待时间过长,甚至超时:
ef_construction或ef_search参数设置过高,导致 openGauss 索引构建或查询计算量过大。
怎么确认配好了
- 通过 FastGPT 的调试界面,观察每次对话中知识库召回的实际条数和总字符数,确认其在模型上下文长度和引用上限范围内。
- 在 FastGPT 中进行多次问答测试,验证模型是否能准确引用 openGauss 知识库中的相关信息,并根据实际效果调整
ef_search参数。 - 监控 openGauss 数据库的 CPU、内存和 I/O 使用情况,确保在高峰负载下,索引查询响应时间保持在可接受的阈值内。