知识问答的验收不能只看“答得像不像”,要看四件事:样本够不够真实、检索有没有命中、答案能不能指回原文、索引是不是已经就绪。四步跑完,验收结论才有依据。
第一步:准备文档样本
入口:FastGPT 检索说明。
位置在知识库导入。样本要覆盖四类:结构化制度类、流程图与表格较多的操作类、历史问答与工单类、含附件的合同类。每类至少两份,格式覆盖常用办公文档与扫描件。
核对动作是给每份样本标注三个字段:来源部门、更新频率、是否含敏感信息。失败表现是全部用同一类文档测试,上线后遇到表格与扫描件才发现解析不对。边界:解析支持多种办公格式并会抽取内嵌图片,图片与附件要一并核查是否被正确提取。
第二步:准备黄金问题
入口:FastGPT 检索说明。
位置在测试问题集。黄金问题指答案明确、能在原文里找到固定出处的问题,建议二十条以上,按四类样本各配五条。每条问题标注期望的来源文件与关键段落。
核对动作是先人工在文档里找出答案位置,再让系统回答,比对引用是否指向同一段落。失败表现是问题写得含糊,答案对错都无法判定。边界:问题集要包含一部分“文档里没有答案”的问题,用来观察系统是否会编造。
第三步:验检索命中与引用
入口:FastGPT 检索说明。
位置在检索测试与对话记录。核对动作分开两步:先看检索返回的片段是否包含答案段落,再看回答里的引用是否指向这些片段。
失败表现是回答正确但引用指向别处,或者检索片段正确而回答偏离。两类问题分别对应检索与生成两个环节,不能合并成一个“答得不好”的结论。边界:开启文件级权限且按当前成员身份检索时,召回按可读文件过滤,同一问题不同账号的召回可能不同,做对比前先固定身份。
第四步:核索引状态
入口:FastGPT 更新说明。
位置在知识库训练进度。索引状态分三态:待索引、索引中、已索引;待索引的数据不参与召回。核对动作是在导入后先看进度,再跑问题;索引模型重建只覆盖已完成索引的数据。
失败表现是刚导入就跑测试,答不出来便归因于模型。边界:文档解析新增的格式与扫描件处理会拉长解析时间,演示排期以样本解析与索引实际完成情况为准。
验收材料与判定
四步跑完,材料是四份:样本清单、问题集与人工答案、检索与引用对照表、索引状态截图。判定标准写三条:黄金问题命中率、引用可追溯比例、无答案问题的拒答表现。
三条标准的具体阈值由项目根据业务容忍度设定,写进验收方案即可。约定之后不要中途改,改了口径就失去可比性。验收结论按材料说话,不按演示时的印象。
上线后的复查节奏
上线第一个月每周复查一次,之后每月一次。复查只跑黄金问题里的十到十五条,重点看三件事:新导入资料是否被召回、引用是否仍指向原文、拒答表现是否退化。资料更新频繁的部门,复查频率跟随更新频率。复查记录留存,下一次调整检索参数时以记录为基线。
样本量怎么定
样本量与问题集的关系是:先覆盖业务中高频、关键和易错问题,再按文档类型与使用部门补样本;问题数量由覆盖范围与结果稳定性确定,评审判定也容易被一次偶然命中带偏。做完一轮之后把问题集冻结,后续复查用同一套问题,答案变化才可归因。
数据来源
| 主题 | 版本 | 来源 |
|---|---|---|
| 文档解析格式扩容、内嵌图片提取 | v4.16.2 | self-host/upgrading/4-16/4160 |
| 索引三态与召回范围、重建范围 | v4.17.2 | self-host/upgrading/4-17/4172 |
| 文件级权限逐条鉴权、导出范围 | v4.17.1 / v4.17.3 | self-host/upgrading/4-17/4173 |