这个品类的数据长什么样
科研项目年度进展与验收场景里,常见材料包括年度进展报告、中期检查材料与验收报告三类。年度进展报告按年度节点提交,字段以任务名称、指标数量、完成日期、负责人签字为主;中期检查材料在项目周期中段汇总,字段偏重阶段成果清单、经费使用日期与检查意见签字;验收报告在结项时形成,字段覆盖最终指标名称、数量、日期及验收组签字与回执。三类材料来源不同、更新节奏不同,同一记录在名称、数量、日期上常有出入,版本未同步、缺签字或回执也时有发生。材料进入知识库检索服务后,各自作为候选片段参与召回,供后续节点或人工比对台账与报告之间的字段差异。
配置怎么定
知识库检索服务(检索节点与搜索测试)只输出候选片段与相似度得分(经模式、合并、重排、过滤与上限裁剪),差异清单要由后续节点或人工接着做。一次检索由问题优化、语义/全文/混合召回、多路合并、重排二次排序、相似度过滤与引用上限裁剪组成,最后才得到交给模型的引用内容。
| 对象 | 判断 | 核验动作 |
|---|---|---|
| 年度进展报告 | 任务名称、指标数量、完成日期与负责人签字需与台账一致 | 在搜索测试中切换 searchMode 为语义、全文或混合,对比候选片段与 similarity 得分,记录名称、数量、日期字段 |
| 中期检查材料 | 阶段成果名称、经费使用日期与检查意见签字需与年度进展报告对应 | 开启 usingReRank 前后对比前几条候选顺序,核对同一记录的名称、数量、日期是否一致 |
| 验收报告 | 最终指标名称、数量、日期及验收组签字与回执需与台账一致 | 查看返回候选条数与引用文本,按 limit 观察裁剪后关键片段是否完整,单独记录引用文本 tokens |
| 知识库候选片段 | 同一记录在两份材料里的名称、数量、日期对不上时需定位差异 | 用同义问句各测一次,对比候选与得分,标记缺签字或回执的字段 |
容易做错的三处
- 现象:同一记录在年度进展报告与验收报告里的名称、数量、日期对不上。原因:两份材料版本未同步,检索候选来自不同召回渠道且未做字段级对齐。
- 现象:中期检查材料缺少签字或回执,验收时无法确认。原因:材料更新节奏不同,签字页未随版本回写,候选片段中未包含签字字段。
- 现象:候选很多但排在前面的都不相关,回答缺少关键段落。原因:检索模式与材料形态不匹配,重排未开启或相似度过滤与引用上限裁剪后关键片段被截断。
怎么确认配好了
本功能验收:用同义改写的问句各测一次,对比候选片段与 similarity 得分,再开关 usingReRank 看前几条排序变化,并记录 searchMode 与 limit 下的候选条数。
业务测试:用一条真实记录找出与台账不一致的字段,核对该记录在年度进展报告、中期检查材料、验收报告中的名称、数量、日期与签字回执。
- 在知识库搜索测试中切换
searchMode,对比语义、全文与混合三种模式返回的候选片段与得分,标记名称、数量、日期字段差异。 - 开启与关闭
usingReRank各测一次,对比前几条候选顺序,并单独记录引用文本 tokens 与数组条数,不将两者做相等比较。