现象
用户创建两个使用同一LLM模型的AI应用,一个配置为直接回答问题,另一个配置为先输出思考过程再回复答案。针对相同的用户问题,两个应用的回复内容、结构完全不同,更换多个LLM模型后该现象依然存在。其中带思考过程的回复体验不佳。
可能原因
两个AI应用的系统提示模板存在差异,一个未要求生成思考过程,一个明确要求先输出思考过程再回答。LLM会严格遵循输入的提示指令生成内容,因此同一模型在不同prompt下会输出差异化的回复。
排查步骤
- 进入FastGPT平台的目标AI应用配置页面,分别查看两个应用的系统提示模板内容。
- 对比两个模板的文本差异,确认是否存在“先输出思考过程”相关的指令区别。
- 核对当前测试使用的LLM模型列表,确认所有测试过的模型均出现回复差异的情况。
- 检查应用的其他配置参数,确认除提示模板外无其他影响回复内容的设置差异。
解决与验证
解决方法为修改带思考过程的AI应用的系统提示模板,移除要求先输出思考过程的指令,确保两个应用的提示模板完全一致。验证时,重新向两个应用发起相同的测试问题,确认两者的回复内容、结构完全一致,且回复无额外的思考过程内容,符合用户使用体验需求。