现象
配置外部LLM追踪平台后,可能出现以下异常:未捕获到LLM调用数据;团队级或系统级追踪配置未按预期覆盖应用级设置;多追踪平台同时配置时,数据未同时发送到所有目标平台;敏感应用未成功禁用追踪功能。
可能原因
- 配置优先级未遵循App(开关)> Team(凭证)> System(环境变量)的规则,导致配置未生效
- 未正确配置对应层级的追踪凭证或开关
- 追踪集成代码未正确注入到LLM调用的核心链路中
- 多追踪平台配置时,未启用对应平台的配置开关
- 敏感应用的追踪禁用开关未正确设置
排查步骤
- 确认当前FastGPT版本是否支持LLM追踪集成功能
- 按层级验证配置:
- 先检查系统级配置:确认对应环境变量是否正确配置了追踪平台的必要凭证
- 再检查团队级配置:通过MongoDB查询团队的追踪配置是否存在且启用
- 最后检查应用级配置:确认对应应用的追踪开关是否设置为
enabled: true或false
- 确认所有LLM调用是否经过
createLLMResponse()函数链路,该函数为统一的LLM调用入口 - 若配置多追踪平台,检查是否启用了所有需要的平台且凭证配置正确
- 查看服务日志,确认追踪集成代码是否正常执行,无报错信息
解决与验证
- 按
App(开关)> Team(凭证)> System(环境变量)的优先级调整配置,优先设置应用级开关,再配置团队级凭证,最后配置系统级环境变量 - 若需使用多追踪平台,在团队级配置中启用所有需要的平台,系统会并行将数据发送到所有启用的平台
- 针对需要禁用追踪的敏感应用,将对应应用的追踪开关设置为
enabled: false,即可跳过追踪流程 - 发起一次LLM调用,查看对应追踪平台是否捕获到调用数据,验证配置生效
- 若未生效,检查
createLLMResponse()函数所在的链路是否正常加载了追踪集成代码,确保无代码加载异常