现象
创建知识库并上传文件时,部分文件完成索引后出现流程卡滞。查看服务日志可见,POST /v1/embeddings接口返回429状态码,且存在报错信息:relay error (channel #5): 当前分组上游负载已饱和,请稍后再试,同时伴随用户配额充足的INFO日志。
可能原因
结合报错信息分析,可能的触发原因有两个:一是短时间内发起的向量嵌入请求并发量超过当前分组的承载上限,触发负载限制;二是单次批量上传的文件数量过多,短时间内生成大量嵌入请求,超出服务的并发处理能力。
排查步骤
- 登录服务后台,查看OneAPI相关日志,确认是否存在
relay error (channel #5): 当前分组上游负载已饱和,请稍后再试以及POST /v1/embeddings返回429的报错记录。 - 统计本次批量上传的文件总数量,确认是否超出当前服务的常规并发请求阈值。
- 检查向量嵌入服务的资源占用情况,确认是否存在CPU、内存或网络带宽过载的问题。
- 核对用户配额日志,确认是否存在配额异常变动的情况。
解决与验证
- 将批量上传的文件拆分为多个批次,降低单次上传的文件数量,减少短时间内的并发请求量。
- 若拥有配置权限,可调整OneAPI的分组配置,增加上游负载节点数量或调整并发限制参数。
- 等待服务负载恢复正常后,重新上传剩余未完成索引的文件。
- 验证:重新上传文件后,查看日志是否不再出现429状态码和负载饱和报错,确认文件索引流程可正常完成。