考务组织与违纪处理的业务依据查询:文档解析与分块

围绕考务组织与违纪处理的业务依据查询,说明文档解析与分块的配置前提与核对动作,结合考务手册、考场记录单确认结果传递与生效状态,附上线前的验证步骤。

这个品类的数据长什么样

考务组织与违纪处理的业务依据查询,材料来自本机构考务手册、考场记录单、违纪事实记录三套。考务手册按学期修订,字段含考试名称、时间、流程、违纪条款编号;考场记录单按场次生成,字段含考场号、应到实到人数、监考签字、日期;违纪事实记录按事件生成,字段含考生信息、违纪情形、证据、处理意见、回执签字。三套材料进入解析与训练任务后,各自被拆成数据行并绑定唯一数据标识,成为可检索的依据条目。更新节奏上,手册随制度调整换版,记录单与事实记录随场次和事件增量产生。查询时常出现同一记录在两份材料里的名称、数量、日期对不上,版本未同步,缺签字或回执,因此依据条目必须能回指原文并核验版本与签字。

配置怎么定

这一环由解析与训练任务(服务端任务)执行,输出数据行与索引状态(已解析、索引中、已完成)。「可回指原文的依据条目」由检索与后续处理接着完成。解析分块在解析完成后立即落库为可见数据行并绑定唯一数据标识,索引按三态流转,待索引数据不参与召回。

对象判断核验动作
考务手册条款编号、考试名称、日期与版本号需与现行版一致,签字栏完整按 chunkSize 与 chunkSplitter 查看分块后数据行,核对条款编号与版本号是否对上原文
考场记录单考场号、应到实到人数、监考签字、日期需与场次记录一致分别核对文件记录与数据行,看人数、日期、签字是否与另一份材料对得上
违纪事实记录违纪情形、证据、处理意见、回执签字需与事件记录一致打开数据行核对状态,确认处于 parsed / indexing / indexed 之一且与界面显示一致
数据行与索引状态处于三态之一,待索引数据不被召回,换模型只对已完成索引的数据重建按 trainingType 查看训练模式,看重建任务覆盖的数据行是否只含已完成索引的数据

容易做错的三处

  • 现象:同一违纪记录在考场记录单与违纪事实记录里的名称、数量、日期对不上。原因:两套材料各自录入,未按同一事件标识对齐。
  • 现象:考务手册条款已换版,检索仍返回旧版依据。原因:版本未同步,旧版数据行仍处于已完成索引状态。
  • 现象:依据条目缺少签字或回执,答复家长时无法回指原文。原因:记录单或事实记录未补齐签字栏,解析后仍作为可见数据行。

怎么确认配好了

本功能验收:上传一份材料,看数据行状态流转与重建任务的覆盖范围;确认解析完成后立即落库为可见数据行,状态按 parsed 到 indexing 到 indexed 流转,换模型只对已完成索引的数据重建,待索引数据不参与重建。

业务测试:问一个跨材料的依据问题,看回答是否给出可回指的出处;核对引用文本的 tokens 与数组条数分别记录,quoteMaxToken 是引用内容预算,不与数组条数做相等比较。

  • 打开数据行核对状态,确认处于 parsed / indexing / indexed 之一且与界面显示一致,训练失败数据可直接编辑或删除。
  • 分别核对文件记录与数据行,确认文件记录与数据行各自的身份分得开,并查看重建任务覆盖的数据行是否只含已完成索引的数据。