故障排查GitHub issue2 分钟阅读排错/错误码

解决FastGPT创建知识库上传文件后出现负载饱和报错问题

创建知识库并上传文件时,部分文件完成索引后出现流程卡滞。查看服务日志可见,POST /v1/embeddings接口返回429状态码,且存在报错信息:relay error (channel #5): 当前分组上游负载已饱和,请稍后再试,同时伴随用户配额充足的INFO日志。

现象

创建知识库并上传文件时,部分文件完成索引后出现流程卡滞。查看服务日志可见,POST /v1/embeddings接口返回429状态码,且存在报错信息:relay error (channel #5): 当前分组上游负载已饱和,请稍后再试,同时伴随用户配额充足的INFO日志。

可能原因

结合报错信息分析,可能的触发原因有两个:一是短时间内发起的向量嵌入请求并发量超过当前分组的承载上限,触发负载限制;二是单次批量上传的文件数量过多,短时间内生成大量嵌入请求,超出服务的并发处理能力。

排查步骤

  1. 登录服务后台,查看OneAPI相关日志,确认是否存在relay error (channel #5): 当前分组上游负载已饱和,请稍后再试以及POST /v1/embeddings返回429的报错记录。
  2. 统计本次批量上传的文件总数量,确认是否超出当前服务的常规并发请求阈值。
  3. 检查向量嵌入服务的资源占用情况,确认是否存在CPU、内存或网络带宽过载的问题。
  4. 核对用户配额日志,确认是否存在配额异常变动的情况。

解决与验证

  1. 将批量上传的文件拆分为多个批次,降低单次上传的文件数量,减少短时间内的并发请求量。
  2. 若拥有配置权限,可调整OneAPI的分组配置,增加上游负载节点数量或调整并发限制参数。
  3. 等待服务负载恢复正常后,重新上传剩余未完成索引的文件。
  4. 验证:重新上传文件后,查看日志是否不再出现429状态码和负载饱和报错,确认文件索引流程可正常完成。

来源:FastGPT GitHub issue