现象
FastGPT私有部署版本4.9.9、4.9.10中,文本内容提取节点无法正常工作。4.9.7及更早版本可正常运行该节点。当将模型stream参数设为false或全局关闭流输出模式时,节点可正常提取并输出结果。用户使用VLLM部署的国产模型,流输出开启时节点报错,怀疑与流输出模式下的JSON5解析不兼容有关,相关异常可参考附带的日志截图。
可能原因
该问题大概率与FastGPT 4.9.7之后版本新增的流输出模式处理逻辑有关。当开启流输出时,文本内容提取节点的JSON5解析代码无法正确处理流式返回的模型输出数据,导致解析失败,节点无法正常输出提取结果。
排查步骤
- 确认当前FastGPT的部署版本,排查是否为4.9.7及之后的版本。
- 检查当前使用的模型流输出配置,将stream参数设为false或全局关闭流输出模式,运行文本内容提取节点,观察是否可正常输出结果。
- 若关闭流输出后节点恢复正常,可进一步确认模型部署方式与返回数据格式,排查流式数据的解析兼容性问题。
- 查看节点运行日志,匹配JSON5解析相关的报错信息,定位具体异常点。
解决与验证
- 临时规避方案:将模型stream参数设为false或全局关闭流输出模式,可恢复文本内容提取节点的正常运行。
- 针对流输出模式的兼容修复:需调整文本内容提取节点的JSON5解析逻辑,使其能够正确处理流式返回的分段数据。验证方式为:开启流输出模式运行文本内容提取节点,确认可正常输出提取结果且无报错。