指导FastGPT通过Ollama接入本地部署的大语言模型

安装与配置Ollama服务

Ollama是简化大语言模型部署的开源工具，支持两种安装方式：Docker部署（推荐）和主机安装。Docker部署需确保机器已安装Docker，基础启动命令为docker run --rm -d --name ollama -p 11434:11434 ollama/ollama；若FastGPT同样部署在Docker中，需将Ollama加入同一网络，命令为docker run --rm -d --name ollama --network [你的Fastgpt容器所在网络] -p 11434:11434 ollama/ollama。主机安装分三系统：MacOS已安装Homebrew时执行brew install ollama，再运行ollama serve启动服务；Linux执行curl https://ollama.com/install.sh | sh后执行ollama serve；Windows从官网下载安装包完成安装后，在命令行执行ollama serve启动服务。若采用主机安装，需配置Ollama监听0.0.0.0：Linux编辑systemd服务文件添加Environment=OLLAMA_HOST=0.0.0.0，执行sudo systemctl daemon-reload和sudo systemctl restart ollama生效；MacOS执行launchctl setenv ollama_host 0.0.0.0后重启应用；Windows新建系统变量OLLAMA_HOST=0.0.0.0后重启服务。

快速配置与接入步骤

拉取模型镜像：进入Ollama容器执行docker exec -it ollama /bin/sh ollama pull [模型名]，完成本地模型拉取。
测试通信：进入FastGPT所在容器执行docker exec -it [FastGPT容器名] /bin/sh curl http://[对应地址]:11434，容器部署时代理地址为http://ollama:11434，主机安装时为http://[主机IP]:11434（不可使用localhost），返回Ollama服务信息则通信正常。
配置FastGPT渠道：在FastGPT依次点击「账号-模型提供商-模型配置-新增模型」，确保模型ID与OneAPI中模型名称一致；再点击「账号-模型提供商-模型渠道-新增渠道」，选择Ollama类型，填入对应代理地址，添加已拉取的模型并设置别名。创建应用时即可选择该模型。