对比与迁移深度场景内容4 分钟阅读matrix

功能验收与效果验收:分两段做

区分功能可用与业务效果两类验收,列出接口、权限、异常处理及检索引用的验证材料,说明观察期、统计口径与责任分工如何衔接,便于实施方和业务方共同确认。

功能验收问“能不能用”,效果验收问“好不好用”。两者判据、周期与责任人都不同,混在一次验收里,结论往往两边都不成立。

两种验收的对象

对照材料:FastGPT 官方说明。

功能验收的对象是能力与配置:应用能否发布、知识库能否检索、接口能否调用、权限是否按设计生效。效果验收的对象是业务结果:检索命中率、引用可追溯比例、使用量、处理时长。

功能验收由实施方与客户 IT 共同完成,周期以天计,产出是一份可以逐项打勾的记录表。效果验收由业务方主导,周期以周或月计,因为要等真实使用数据。两者的证据形式也不同:前者是记录与截图,后者是抽样与统计。

对照

项功能验收效果验收
判据是否按设计工作是否达到业务目标
周期上线前上线后数周至数月
主导方实施方与 IT业务方
证据记录、截图、日志抽样结果、使用数据
风险上线后才发现不好用目标定得过高无法判定

功能验收的四个动作

第一,黄金路径跑通:从提问到拿到带引用的答案,中间每一步都能复现。第二,权限验证:三个身份各跑一次,可见范围符合设计。第三,异常演练:超时、返回异常、依赖不可用三种情况各一次,降级表现写进记录。第四,发布核查:发布后静态资源按快照校验、动态资源按运行用户校验,各验一次。

四个动作对应四份记录,缺一份就不算完成。功能验收不追求结论漂亮,追求可复现。

效果验收的三个判据

第一,检索命中:用黄金问题集跑,命中率与引用可追溯比例各自统计。第二,使用情况:真实使用量与活跃用户数,按周统计。第三,业务指标:按场景设定,例如处理时长或重复咨询量。

三条判据要提前约定,写进验收方案。上线后再定目标,等于用结果反推标准,双方都不会服气。约定之后不要中途改,改了口径就失去可比性。

两段之间怎么衔接

功能验收通过后设一个与业务使用周期对应的观察期。观察期内只统计不改判据,观察期结束再评估效果。这样做的原因是效果受使用习惯影响,刚上线时的数据不能代表稳定状态。

观察期还要解决一个现实问题:业务方可能在这段时间调整流程。流程一变,效果判据的基线就变了。把变更记进观察期日志,评估时按日志分段。

返工成本怎么算

功能验收没过的返工成本低,改配置或改接口即可。效果验收没过的返工成本高,通常要回头改知识库结构、检索配置甚至场景设计。两段的成本差别,是分两段验收的主要理由,也是合同里要把两类返工分开约定的原因。

把返工成本写进合同附件也有意义:功能偏差与效果优化分别登记原因、负责人和调整范围,再按项目约定安排工作。写清楚之后,验收会少很多争论。

判定结论

功能验收按四个动作走,效果验收按三条判据走,中间设观察期。三段结构固定下来,验收就从“一次会议”变成“一条流程”。流程化的验收,比会议式的验收更容易复现,也更容易在下一个项目里复用。

验收会议的议程

会议分两段开。第一段看功能证据,逐项过四份记录,缺项当场记入待补清单。第二段定效果判据,把黄金问题集、使用量口径与业务指标三项写进会议纪要,并约定观察期长度与统计区间。两段之间不要合并讨论,功能问题会挤占效果判据的讨论时间,结果往往是判据没定,会议就散了。

证据怎么留

四类证据分开留:功能记录按动作编号归档,权限记录按账号归档,异常记录按演练批次归档,效果数据按统计周期归档。四类归档路径写进验收方案,评审时按编号调取。归档不按人整理,人员变动后仍能找到。

数据来源

主题版本来源
发布快照与运行身份v4.17.1self-host/upgrading/4-17/4171
索引三态与召回v4.17.2self-host/upgrading/4-17/4172
支持与交付范围当期商业方案FastGPT 商务咨询:授权、部署与支持范围