效果评测FAQ
上线之后怎么衡量效果、持续优化?
可用的机制有四个:收集用户反馈、对真实会话做标注、对应用做批量评测、以及在运营看板上观察使用与问题分布。可操作的节奏是每周固定看一批真实会话,把答错的问题分成三类分别处理——检索没召回的补索引,召回对但答偏的调提示词与上下文,资料本身过期或缺失的回给知识域责任人更新。评测要用固定的问题集做前后对照,否则无法判断这次改动是真的变好还是恰好换了一批问题。
01
核心解答
答案
可用的机制有四个:收集用户反馈、对真实会话做标注、对应用做批量评测、以及在运营看板上观察使用与问题分布。可操作的节奏是每周固定看一批真实会话,把答错的问题分成三类分别处理——检索没召回的补索引,召回对但答偏的调提示词与上下文,资料本身过期或缺失的回给知识域责任人更新。评测要用固定的问题集做前后对照,否则无法判断这次改动是真的变好还是恰好换了一批问题。
相关关键词
效果评测会话标注运营看板持续优化