故障排查GitHub issue2 分钟阅读故障排查

FastGPT知识库向量化速度低的优化与排查方案

建立知识库并上传数百个小说文档时,使用m3e模型进行向量化,CPU和GPU使用率偏低,向量化总耗时长达十几个小时。 需按实际部署环境确认具体原因,已知关联因素包括硬件资源未被充分利用、批量处理的并发设置不足。 1. 查看FastGPT向量化任务的硬件资源监控数据,确认CPU与GPU的实际使用率。 2.

现象

建立知识库并上传数百个小说文档时,使用m3e模型进行向量化,CPU和GPU使用率偏低,向量化总耗时长达十几个小时。

可能原因

需按实际部署环境确认具体原因,已知关联因素包括硬件资源未被充分利用、批量处理的并发设置不足。

排查步骤

  1. 查看FastGPT向量化任务的硬件资源监控数据,确认CPU与GPU的实际使用率。
  2. 检查向量化任务的并发配置参数,确认是否存在并行处理数量受限的情况。
  3. 核对m3e模型的加载与调用配置,排查是否存在模型调用瓶颈。
  4. 拆分批量上传的文档为小批次,测试小批量文档的向量化耗时,定位批量规模是否为影响因素。

解决与验证

调整向量化任务的并发参数,提升并行处理数量以充分利用可用硬件资源。将批量上传的文档拆分为更小的批次,降低单次向量化的任务规模。验证时,重新上传调整后的文档批次,监控硬件使用率与向量化总耗时,确认耗时是否缩短、硬件使用率是否提升。

来源: FastGPT 官方来源

适用性与版本范围

本页适用于官方来源记录的 故障排查 场景。执行变更前,需核对 FastGPT、依赖、API 与部署版本。

安全护栏

凭证与私密数据使用 [REDACTED_CREDENTIAL] 占位符。执行操作前需核对文档的环境与版本。

回滚指引

恢复变更前的技术内容权威快照、已保存配置与数据快照,再执行最小验证场景。