这个品类的数据长什么样
国家重点研发计划项目申报材料通常包括项目申报书、预算申报书、合作协议三类,来源为申报系统导出件、单位内部台账与盖章扫描件,更新节奏随申报窗口推进而滚动,常见字段有项目名称、课题编号、承担单位、负责人、预算科目、金额、起止日期、签字与回执。项目申报书承担技术路线与考核指标的字段源头,预算申报书承担经费与科目口径,合作协议承担各方权责与签署信息。三类材料进入知识库检索时分别作为独立片段集合,供后续节点按同一记录逐字段比对,定位名称、数量、日期与签字回执的差异。
配置怎么定
这一环由知识库检索服务(检索节点与搜索测试)执行,输出候选片段与相似度得分(经模式、合并、重排、过滤与上限裁剪)。差异清单由后续节点或人工接着完成。检索只负责把同一记录在两份材料里的相关片段召回并排序,不产出统计表或授权结果。
| 对象 | 判断 | 核验动作 |
|---|---|---|
| 项目申报书 | 项目名称、课题编号、负责人、起止日期与签字是否与预算申报书、合作协议一致 | 在搜索测试中以项目名称为查询,切换 searchMode 对比语义、全文与混合候选,记录候选条数与得分 |
| 预算申报书 | 预算科目、数量、金额与日期是否与项目申报书、合作协议对得上,版本是否同步 | 以科目名与金额为查询,开启与关闭 usingReRank 对比前几条排序,核对返回引用文本的完整度 |
| 合作协议 | 各方名称、签署日期、签字与回执是否齐全,与另两份材料同一记录是否对得上 | 以合作方名称为查询,观察 similarity 过滤后的候选,单独记录引用数组条数,核对引用文本 tokens 是否保留关键签署信息 |
| 知识库检索服务(检索节点与搜索测试) | 同一记录在同义问句下候选与得分是否稳定,重排前后排序是否变化 | 用同义改写问句各测一次,对比候选与得分;再调 limit 观察引用上限裁剪后数组条数与文本 tokens 的变化 |
容易做错的三处
- 现象:同一记录在项目申报书与预算申报书里的名称、数量、日期对不上。原因:两份材料由不同节点填写,字段口径未统一,检索召回后未逐字段比对。
- 现象:合作协议缺少签字或回执,另两份材料已盖章。原因:版本未同步,签署件未回传,检索时只命中旧版片段。
- 现象:候选很多但排在前面的都不相关,回答缺少关键段落。原因:查询与材料形态不匹配,未开启重排或相似度过滤与引用上限裁剪不当。
怎么确认配好了
本功能验收:用同义改写的问句各测一次,对比候选与相似度得分,再开关重排看前几条排序是否变化,并记录引用数组条数与引用文本 tokens。
业务测试:用一条真实记录找出与台账不一致的字段,交复核人确认并回写。
- 在搜索测试中按材料形态切换
searchMode,对比语义、全文与混合三种候选,记录候选条数与得分。 - 对同一记录分别以项目名称、科目、合作方名称为查询,开启与关闭
usingReRank,观察similarity过滤后前几条排序与引用文本完整度。