现象
用户在Macbook Pro M4 Max 128G设备上完成Docker、Ollama、FastGPT及OneAPI的私有部署。Ollama已下载DeepSeek R1-32B和bge-m3 embedding模型,本地模型测试运行成功,FastGPT与OneAPI可正常登录,但配置模型渠道后无法正常调用目标模型。
可能原因
- config.json文件中llmModels、vectorModels的配置参数与实际部署的模型不匹配;
- docker-compose.yml中FEDOMAIN或OPENAIBASE_URL的地址配置错误;
- OneAPI的模型渠道或令牌配置存在参数错误;
- 配置修改后未重启FastGPT服务,未加载最新配置。
排查步骤
- 核对Ollama实际加载的模型名称,确认config.json中llmModels和vectorModels的model字段与Ollama模型名称一致;
- 检查docker-compose.yml中的FEDOMAIN和OPENAIBASE_URL环境变量配置,确保地址与本地服务匹配;
- 验证OneAPI中的模型渠道配置,确认令牌、模型名称等参数正确无误;
- 查看FastGPT后台日志,获取具体的调用报错信息;
- 重启FastGPT容器,使修改后的配置生效。
解决与验证
- 修正config.json中的模型参数,确保与Ollama实际部署的模型名称完全匹配;
- 确认docker-compose.yml中的FEDOMAIN和OPENAIBASE_URL地址配置正确;
- 重启FastGPT容器,加载最新的配置文件;
- 在FastGPT的模型测试页面重新发起调用测试,确认模型可以正常运行。