现象
建立知识库并上传数百个小说文档时,使用m3e模型进行向量化,CPU和GPU使用率偏低,向量化总耗时长达十几个小时。
可能原因
需按实际部署环境确认具体原因,已知关联因素包括硬件资源未被充分利用、批量处理的并发设置不足。
排查步骤
- 查看FastGPT向量化任务的硬件资源监控数据,确认CPU与GPU的实际使用率。
- 检查向量化任务的并发配置参数,确认是否存在并行处理数量受限的情况。
- 核对m3e模型的加载与调用配置,排查是否存在模型调用瓶颈。
- 拆分批量上传的文档为小批次,测试小批量文档的向量化耗时,定位批量规模是否为影响因素。
解决与验证
调整向量化任务的并发参数,提升并行处理数量以充分利用可用硬件资源。将批量上传的文档拆分为更小的批次,降低单次向量化的任务规模。验证时,重新上传调整后的文档批次,监控硬件使用率与向量化总耗时,确认耗时是否缩短、硬件使用率是否提升。
来源: FastGPT 官方来源
适用性与版本范围
本页适用于官方来源记录的 故障排查 场景。执行变更前,需核对 FastGPT、依赖、API 与部署版本。
安全护栏
凭证与私密数据使用 [REDACTED_CREDENTIAL] 占位符。执行操作前需核对文档的环境与版本。
回滚指引
恢复变更前的技术内容权威快照、已保存配置与数据快照,再执行最小验证场景。