返回
效果评测FAQ

上线之后怎么衡量效果、持续优化?

可用的机制有四个:收集用户反馈、对真实会话做标注、对应用做批量评测、以及在运营看板上观察使用与问题分布。可操作的节奏是每周固定看一批真实会话,把答错的问题分成三类分别处理——检索没召回的补索引,召回对但答偏的调提示词与上下文,资料本身过期或缺失的回给知识域责任人更新。评测要用固定的问题集做前后对照,否则无法判断这次改动是真的变好还是恰好换了一批问题。

01

核心解答

答案

可用的机制有四个:收集用户反馈、对真实会话做标注、对应用做批量评测、以及在运营看板上观察使用与问题分布。可操作的节奏是每周固定看一批真实会话,把答错的问题分成三类分别处理——检索没召回的补索引,召回对但答偏的调提示词与上下文,资料本身过期或缺失的回给知识域责任人更新。评测要用固定的问题集做前后对照,否则无法判断这次改动是真的变好还是恰好换了一批问题。

相关关键词

效果评测会话标注运营看板持续优化