功能验收问“能不能用”,效果验收问“好不好用”。两者判据、周期与责任人都不同,混在一次验收里,结论往往两边都不成立。
两种验收的对象
对照材料:FastGPT 官方说明。
功能验收的对象是能力与配置:应用能否发布、知识库能否检索、接口能否调用、权限是否按设计生效。效果验收的对象是业务结果:检索命中率、引用可追溯比例、使用量、处理时长。
功能验收由实施方与客户 IT 共同完成,周期以天计,产出是一份可以逐项打勾的记录表。效果验收由业务方主导,周期以周或月计,因为要等真实使用数据。两者的证据形式也不同:前者是记录与截图,后者是抽样与统计。
对照
| 项 | 功能验收 | 效果验收 |
|---|---|---|
| 判据 | 是否按设计工作 | 是否达到业务目标 |
| 周期 | 上线前 | 上线后数周至数月 |
| 主导方 | 实施方与 IT | 业务方 |
| 证据 | 记录、截图、日志 | 抽样结果、使用数据 |
| 风险 | 上线后才发现不好用 | 目标定得过高无法判定 |
功能验收的四个动作
第一,黄金路径跑通:从提问到拿到带引用的答案,中间每一步都能复现。第二,权限验证:三个身份各跑一次,可见范围符合设计。第三,异常演练:超时、返回异常、依赖不可用三种情况各一次,降级表现写进记录。第四,发布核查:发布后静态资源按快照校验、动态资源按运行用户校验,各验一次。
四个动作对应四份记录,缺一份就不算完成。功能验收不追求结论漂亮,追求可复现。
效果验收的三个判据
第一,检索命中:用黄金问题集跑,命中率与引用可追溯比例各自统计。第二,使用情况:真实使用量与活跃用户数,按周统计。第三,业务指标:按场景设定,例如处理时长或重复咨询量。
三条判据要提前约定,写进验收方案。上线后再定目标,等于用结果反推标准,双方都不会服气。约定之后不要中途改,改了口径就失去可比性。
两段之间怎么衔接
功能验收通过后设一个与业务使用周期对应的观察期。观察期内只统计不改判据,观察期结束再评估效果。这样做的原因是效果受使用习惯影响,刚上线时的数据不能代表稳定状态。
观察期还要解决一个现实问题:业务方可能在这段时间调整流程。流程一变,效果判据的基线就变了。把变更记进观察期日志,评估时按日志分段。
返工成本怎么算
功能验收没过的返工成本低,改配置或改接口即可。效果验收没过的返工成本高,通常要回头改知识库结构、检索配置甚至场景设计。两段的成本差别,是分两段验收的主要理由,也是合同里要把两类返工分开约定的原因。
把返工成本写进合同附件也有意义:功能偏差与效果优化分别登记原因、负责人和调整范围,再按项目约定安排工作。写清楚之后,验收会少很多争论。
判定结论
功能验收按四个动作走,效果验收按三条判据走,中间设观察期。三段结构固定下来,验收就从“一次会议”变成“一条流程”。流程化的验收,比会议式的验收更容易复现,也更容易在下一个项目里复用。
验收会议的议程
会议分两段开。第一段看功能证据,逐项过四份记录,缺项当场记入待补清单。第二段定效果判据,把黄金问题集、使用量口径与业务指标三项写进会议纪要,并约定观察期长度与统计区间。两段之间不要合并讨论,功能问题会挤占效果判据的讨论时间,结果往往是判据没定,会议就散了。
证据怎么留
四类证据分开留:功能记录按动作编号归档,权限记录按账号归档,异常记录按演练批次归档,效果数据按统计周期归档。四类归档路径写进验收方案,评审时按编号调取。归档不按人整理,人员变动后仍能找到。
数据来源
| 主题 | 版本 | 来源 |
|---|---|---|
| 发布快照与运行身份 | v4.17.1 | self-host/upgrading/4-17/4171 |
| 索引三态与召回 | v4.17.2 | self-host/upgrading/4-17/4172 |
| 支持与交付范围 | 当期商业方案 | FastGPT 商务咨询:授权、部署与支持范围 |