故障排查GitHub issue2 分钟阅读排错/错误码

FastGPT文本内容提取节点流输出异常排错指南

FastGPT私有部署版本4.9.9、4.9.10中,文本内容提取节点无法正常工作。4.9.7及更早版本可正常运行该节点。当将模型stream参数设为false或全局关闭流输出模式时,节点可正常提取并输出结果。

现象

FastGPT私有部署版本4.9.9、4.9.10中,文本内容提取节点无法正常工作。4.9.7及更早版本可正常运行该节点。当将模型stream参数设为false或全局关闭流输出模式时,节点可正常提取并输出结果。用户使用VLLM部署的国产模型,流输出开启时节点报错,怀疑与流输出模式下的JSON5解析不兼容有关,相关异常可参考附带的日志截图。

可能原因

该问题大概率与FastGPT 4.9.7之后版本新增的流输出模式处理逻辑有关。当开启流输出时,文本内容提取节点的JSON5解析代码无法正确处理流式返回的模型输出数据,导致解析失败,节点无法正常输出提取结果。

排查步骤

  1. 确认当前FastGPT的部署版本,排查是否为4.9.7及之后的版本。
  2. 检查当前使用的模型流输出配置,将stream参数设为false或全局关闭流输出模式,运行文本内容提取节点,观察是否可正常输出结果。
  3. 若关闭流输出后节点恢复正常,可进一步确认模型部署方式与返回数据格式,排查流式数据的解析兼容性问题。
  4. 查看节点运行日志,匹配JSON5解析相关的报错信息,定位具体异常点。

解决与验证

  1. 临时规避方案:将模型stream参数设为false或全局关闭流输出模式,可恢复文本内容提取节点的正常运行。
  2. 针对流输出模式的兼容修复:需调整文本内容提取节点的JSON5解析逻辑,使其能够正确处理流式返回的分段数据。验证方式为:开启流输出模式运行文本内容提取节点,确认可正常输出提取结果且无报错。

来源:FastGPT GitHub issue