故障排查GitHub issue2 分钟阅读排错/错误码

FastGPT集成外部LLM追踪平台的配置与排错方法

配置外部LLM追踪平台后,可能出现以下异常:未捕获到LLM调用数据;团队级或系统级追踪配置未按预期覆盖应用级设置;多追踪平台同时配置时,数据未同时发送到所有目标平台;敏感应用未成功禁用追踪功能。 1. 配置优先级未遵循App(开关)> Team(凭证)> System(环境变量)的规则,导致配置未生效 2.

现象

配置外部LLM追踪平台后,可能出现以下异常:未捕获到LLM调用数据;团队级或系统级追踪配置未按预期覆盖应用级设置;多追踪平台同时配置时,数据未同时发送到所有目标平台;敏感应用未成功禁用追踪功能。

可能原因

  1. 配置优先级未遵循App(开关)> Team(凭证)> System(环境变量)的规则,导致配置未生效
  2. 未正确配置对应层级的追踪凭证或开关
  3. 追踪集成代码未正确注入到LLM调用的核心链路中
  4. 多追踪平台配置时,未启用对应平台的配置开关
  5. 敏感应用的追踪禁用开关未正确设置

排查步骤

  1. 确认当前FastGPT版本是否支持LLM追踪集成功能
  2. 按层级验证配置:
    • 先检查系统级配置:确认对应环境变量是否正确配置了追踪平台的必要凭证
    • 再检查团队级配置:通过MongoDB查询团队的追踪配置是否存在且启用
    • 最后检查应用级配置:确认对应应用的追踪开关是否设置为enabled: truefalse
  3. 确认所有LLM调用是否经过createLLMResponse()函数链路,该函数为统一的LLM调用入口
  4. 若配置多追踪平台,检查是否启用了所有需要的平台且凭证配置正确
  5. 查看服务日志,确认追踪集成代码是否正常执行,无报错信息

解决与验证

  1. App(开关)> Team(凭证)> System(环境变量)的优先级调整配置,优先设置应用级开关,再配置团队级凭证,最后配置系统级环境变量
  2. 若需使用多追踪平台,在团队级配置中启用所有需要的平台,系统会并行将数据发送到所有启用的平台
  3. 针对需要禁用追踪的敏感应用,将对应应用的追踪开关设置为enabled: false,即可跳过追踪流程
  4. 发起一次LLM调用,查看对应追踪平台是否捕获到调用数据,验证配置生效
  5. 若未生效,检查createLLMResponse()函数所在的链路是否正常加载了追踪集成代码,确保无代码加载异常

来源:FastGPT GitHub issue