学生处分与申诉处理的多语资料与术语处理:文档解析与分块

围绕学生处分与申诉处理的多语资料与术语处理,说明文档解析与分块的配置前提与核对动作,结合违纪事实材料、处分决定书确认结果传递与生效状态,附上线前的验证步骤。

这个品类的数据长什么样

学生处分与申诉处理场景中,材料来源包括违纪事实材料、处分决定书、申诉书三类,通常由学工、教务与申诉受理环节在不同时间点分别产出,更新节奏随处分流程推进而分批进入。违纪事实材料负责承载行为描述、时间地点与证人信息,处分决定书负责承载处分种类、依据条款与生效日期,申诉书负责承载申诉请求、理由与回执签字。三类材料进入文档解析与分块功能时,各自作为独立数据行落库并绑定唯一数据标识,字段层面关注名称、数量、日期与签字是否可回指原文,为后续统一术语表与对照稿提供可检索的底稿。

配置怎么定

这一环由解析与训练任务(服务端任务)执行,输出数据行与索引状态(已解析、索引中、已完成)。「统一术语表与对照稿」由检索与后续处理接着完成。

对象判断核验动作
违纪事实材料同一记录在事实材料与决定书中的名称、数量、日期须对得上,签字与回执不可缺核对材料字段与决定书对应项,检查 chunkSize 与 chunkSplitter 切分后是否保留日期与签字段落
处分决定书处分种类、依据条款与生效日期须与事实材料一致,版本须同步对照决定书与申诉书引用条款,查看数据行状态是否为 parsed、indexing 或 indexed
申诉书申诉请求与理由须能回指原文,回执签字不可缺核对申诉书与决定书日期、名称,确认 trainingType 对应处理模式下索引状态已完成
数据行处于三态之一且与界面显示一致,文件记录与数据行身份分得开打开数据行核对状态,分别核对文件记录与数据行,查看重建任务覆盖范围

容易做错的三处

  • 现象:同一处分记录在事实材料与决定书中名称、数量或日期对不上。原因:多语资料与术语处理未统一,分块后字段未回指原文。
  • 现象:申诉书缺签字或回执,版本未同步。原因:材料分批进入,旧版本先落库,新版本未覆盖同一数据标识。
  • 现象:刚上传的材料搜不到,训练失败后留下空数据行。原因:解析成功不等于检索命中,索引状态未到已完成。

怎么确认配好了

本功能验收:上传一份材料,看数据行状态流转与重建任务的覆盖范围,确认 parsed、indexing、indexed 三态与界面一致,重建只覆盖已完成索引的数据。

业务测试:抽三条术语查全篇写法是否一致,确认译名能回指原文,引用文本 tokens 与数组条数分别记录。

  • 打开数据行核对状态,分别核对文件记录与数据行,确认唯一数据标识绑定正确。
  • 查看重建任务覆盖的数据行,确认只针对已完成索引的数据,待索引数据不参与重建。