国家重点研发计划项目申报的多语资料与术语处理:文档解析与分块

围绕国家重点研发计划项目申报的多语资料与术语处理,说明文档解析与分块的配置前提与核对动作,结合项目申报书、预算申报书确认结果传递与生效状态,附上线前的验证步骤。

这个品类的数据长什么样

国家重点研发计划项目申报材料包括项目申报书、预算申报书、合作协议,以多语版本对照流转,更新节点集中在指南发布、预申报、正式申报与协议签署。材料进入解析与训练任务时,项目申报书与预算申报书承担字段、日期与签字核对角色,合作协议承担名称、数量与回执核对角色;多语术语表与对照稿则作为统一译名的锚点,供各版本回指原文。

配置怎么定

这一环由解析与训练任务(服务端任务)执行,输出数据行与索引状态(parsed / indexing / indexed)。「统一术语表与对照稿」由检索与后续处理接着完成。

对象判断核验动作
项目申报书字段、日期与签字在申报书内自洽且与预算书一致核对项目名称、承担单位、起止日期与签字页;查看数据行状态是否为 parsed / indexing / indexed
预算申报书数量、金额与日期能回指项目申报书同一字段对照预算科目数量与日期;检查 chunkSize 与 chunkSplitter 设置后数据行是否落库
合作协议名称、数量、日期与签字回执无缺失核对协议方名称与数量是否与申报书一致;确认回执与签字页齐全
多语术语表与对照稿同一术语全篇写法一致且译名能回指原文用 trainingType 区分 Vector 与 QA 训练,抽三条术语查全篇写法

容易做错的三处

  • 现象:刚上传的材料搜不到。原因:数据行处于 parsed 或 indexing,待索引数据不参与召回,解析成功不等于检索命中。
  • 现象:换模型后重建耗时异常。原因:重建只针对已完成索引的数据,若误把待索引数据纳入重建链,开销会放大。
  • 现象:协议与申报书名称、数量、日期对不上。原因:版本未同步,或签字与回执缺失,字段未随最新版本更新。

怎么确认配好了

本功能验收:上传一份材料,看数据行状态流转与重建任务的覆盖范围。

业务测试:抽三条术语查全篇写法是否一致。

  • 打开数据行核对状态,确认处于 parsed / indexing / indexed 之一且与界面显示一致。
  • 分别核对文件记录与数据行,确认文件与数据行的标识分得开。