职业技能等级认定社会评价的多语资料与术语处理:文档解析与分块

围绕职业技能等级认定社会评价的多语资料与术语处理,说明文档解析与分块的配置前提与核对动作,结合评价实施方案、考生报名表确认结果传递与生效状态,附上线前的验证步骤。

这个品类的数据长什么样

职业技能等级认定社会评价涉及评价实施方案、考生报名表、考评员派遣表等材料,来源为评价机构与考点,按批次更新。实施方案含职业名称、等级、考核方式与日期;报名表含考生身份、申报职业与签字;派遣表含考评员姓名、任务与回执。材料进入解析与分块时,实施方案提供术语来源与流程字段,报名表提供人员与申报字段,派遣表提供考评与签字字段,三者共同支撑统一术语表与对照稿的字段对齐。

配置怎么定

这一环由解析与训练任务(服务端任务)执行,输出数据行与索引状态(已解析、索引中、已完成)。「统一术语表与对照稿」由检索与后续处理接着完成。

对象判断核验动作
评价实施方案职业名称、等级、考核方式、日期与签字字段需与报名表、派遣表逐项对齐核对方案中的职业名称与等级在报名表、派遣表中写法一致,日期与签字齐全,并确认解析分块参数chunkSize、chunkSplitter与trainingType记录一致
考生报名表考生身份、申报职业、等级与签字回执需与实施方案、派遣表对应抽取三条术语,查全篇写法是否一致,并核对报名表与派遣表的人数、日期,确认数据行状态为parsed、indexing或indexed
考评员派遣表考评员姓名、任务、日期与回执需与实施方案、报名表对应核对派遣表与报名表的考评员名称、数量、日期,检查缺签字或回执,并确认trainingType与chunkSize设置一致
数据行与索引状态处于parsed、indexing、indexed三态之一且与界面显示一致打开数据行核对状态,确认待索引数据不参与召回,换模型只对indexed数据重建,并核对chunkSplitter与trainingType

容易做错的三处

  • 现象:同一记录在实施方案与报名表里的名称、数量、日期对不上。原因:多语资料与术语处理时字段未对齐,版本未同步。
  • 现象:派遣表缺签字或回执,材料无法交对外发布。原因:签字字段未纳入解析分块核对,回执未随版本更新。
  • 现象:刚上传的材料搜不到。原因:解析成功不等于检索命中,数据行处于parsed或indexing,未完成索引。

怎么确认配好了

本功能验收:上传一份材料,看数据行状态流转与重建任务的覆盖范围,核对parsed、indexing、indexed三态与界面一致,确认重建只覆盖已完成索引的数据,并检查chunkSize、chunkSplitter、trainingType记录

业务测试:抽三条术语查全篇写法是否一致

  • 分别核对文件记录与数据行,确认文件与数据行标识分得开,并检查chunkSize、chunkSplitter、trainingType字段
  • 查看重建任务覆盖的数据行,确认只覆盖已完成索引的数据,初次训练覆盖待索引与索引中的数据