故障排查GitHub issue2 分钟阅读排错/错误码

解决FastGPT私有部署中Ollama向量化结果为0的问题

用户在FastGPT私有部署V4.14.8版本中,将向量化模型配置为Ollama后,无论使用哪个Ollama模型,最终得到的向量化结果均为全0数组。通过抓包验证,Ollama服务实际返回的向量化结果并不为0。

现象

用户在FastGPT私有部署V4.14.8版本中,将向量化模型配置为Ollama后,无论使用哪个Ollama模型,最终得到的向量化结果均为全0数组。通过抓包验证,Ollama服务实际返回的向量化结果并不为0。

可能原因

已知Ollama服务本身返回的向量化结果正常,因此推测可能的原因为:FastGPT在接收并处理Ollama的API响应时,存在解析逻辑异常,或向量化模型的配置参数与Ollama的返回格式不匹配。

排查步骤

  1. 确认当前FastGPT版本为V4.14.8,检查向量化模型配置是否选择Ollama,且配置的API地址、模型名称与实际部署的Ollama服务一致。
  2. 抓包分析FastGPT与Ollama之间的API交互链路,验证Ollama实际返回的向量化数据是否正常(非全0)。
  3. 查看FastGPT服务的运行日志,确认接收Ollama响应后是否存在字段提取失败或解析错误,日志中可观察到最终输出的向量化结果为全0。
  4. 检查FastGPT中与Ollama向量化相关的配置项,确认参数格式是否符合要求,需按实际环境确认配置的正确性。

解决与验证

若排查后确认问题源于FastGPT对Ollama API响应的解析异常,可尝试升级FastGPT到最新版本以修复该问题。验证方式为:重新配置Ollama向量化模型,发起向量化测试请求,确认返回的向量结果不再为全0,且与Ollama实际返回的结果一致。

来源:https://github.com/labring/FastGPT/issues/6559