现象
用户使用私有部署的FastGPT 4.8.4-fix版本,通过OneAPI 0.6.6接入部署在Xinference 0.12.2上的GLM-4-9B-chat模型。使用普通对话功能时运行正常,但使用工具调用功能时返回400错误。OneAPI报错日志包含model ratio not found: glm-4-9b、relay error happen, status code is 400;FastGPT报错日志显示400 bad response status code 400。
可能原因
根据OneAPI的报错日志model ratio not found: glm-4-9b,核心触发原因是OneAPI中未配置该模型的比例映射,无法识别请求携带的模型名称,从而返回400错误。本次issue中FastGPT的模型配置里toolChoice和functionCall均为开启状态,排除了FastGPT配置未启用工具调用的问题。
排查步骤
- 查看OneAPI的系统日志,确认是否存在
model ratio not found相关报错信息。 - 登录OneAPI管理后台,进入模型管理页面,检查是否已添加
glm-4-9b模型的比例配置。 - 核对FastGPT中配置的模型名称
glm-4-9b与OneAPI中配置的模型名称是否完全一致。 - 重启OneAPI服务,使新的模型配置生效。
- 重新发起工具调用请求,观察是否仍返回400错误。
解决与验证
解决方法:在OneAPI中添加glm-4-9b模型的比例映射配置,确保模型名称与FastGPT中配置的名称完全一致。验证步骤:1. 完成OneAPI的模型比例配置后,重启OneAPI服务。2. 重新测试工具调用功能,确认无400错误返回。3. 检查OneAPI与FastGPT的日志,无新的报错信息。