现象
用户在使用FastGPT对接本地部署的LLM服务时,缺少官方教程指导,无法完成配置连接。例如部分用户通过端口转发部署本地类OpenAI API服务后,无法在FastGPT中正常调用。部分成功部署该类服务的用户,希望将相关流程补充到官方文档中。
可能原因
用户不清楚Docker部署的FastGPT容器如何访问宿主机上的LLM服务端口,无法正确配置基础API地址,导致无法调用本地部署的LLM服务。
排查步骤
- 确认本地部署的LLM服务已正常启动,监听指定端口,且提供类OpenAI的API接口。
- 确认FastGPT的部署环境为Docker容器,且使用对应后端的Docker引擎,例如WSL2后端。
- 检查FastGPT的环境变量配置,确认OPENAIBASEURL的格式是否符合要求。
- 验证容器是否可以访问宿主机的LLM服务端口,无需额外端口映射或防火墙调整。
解决与验证
在Docker部署FastGPT时,修改OPENAIBASEURL环境变量为http://host.docker.internal:5051/v1。其中host.docker.internal是Docker内置的宿主机访问地址,无需额外配置端口映射或防火墙规则。完成配置启动容器后,在FastGPT平台中测试调用LLM服务,若可正常生成内容,则配置成功。