现象
FastGPT 4.8.5版本通过docker部署,搭配docker部署的bge-rerank-base:v0.1重排模型容器。配置config.local.json中的reRankModels参数后,勾选重排发起请求时,reranker容器会在收到请求后报错并重启。容器日志包含Bus error (core dumped),同时存在启动日志:INFO: Started server process [7]、INFO: Waiting for application startup.、INFO: Application startup complete.、INFO: Uvicorn running on http://0.0.0.0:6006 (Press CTRL+C to quit)。
可能原因
根据日志Bus error (core dumped)与容器重启现象,可能的关联因素包括GPU资源调用异常、网络连通问题、配置参数不匹配等,需按实际环境确认。
排查步骤
- 检查重排模型容器与FastGPT是否处于同一docker网络,确认网络名称与配置文件中
requestUrl的容器名匹配,本次场景中使用的网络为fastgpt_fastgpt,容器名为reranker。 - 查看重排模型容器的完整启动日志,确认
Bus error (core dumped)出现的时间点,排查是启动阶段还是收到请求后触发报错。 - 核对
config.local.json中的reRankModels参数,确认model、requestUrl、requestAuth与实际部署的容器信息一致,本次场景中配置的requestUrl为http://reranker:6006/v1/rerank,requestAuth为sk-fastgpt。 - 单独启动重排模型容器,测试是否能正常响应请求,验证容器本身是否存在启动或运行异常。
解决与验证
- 调整重排模型容器的启动参数,确保与FastGPT处于同一docker网络,本次场景中使用
--network fastgpt_fastgpt参数启动容器。 - 核对并修正配置文件中的重排模型参数,确保
requestUrl的容器名、端口与实际部署一致,requestAuth与容器启动时设置的ACCESS_TOKEN匹配,本次场景中容器启动参数为-e ACCESS_TOKEN=sk-fastgpt,配置文件中requestAuth为sk-fastgpt。 - 重启FastGPT服务与重排模型容器,发起重排请求,验证容器不再报错重启,且请求能正常返回结果。
- 查看重排模型容器的日志,确认无
Bus error (core dumped)报错,服务稳定运行。