期刊出版许可与年度核验的多语资料与术语处理:文档解析与分块

围绕期刊出版许可与年度核验的多语资料与术语处理,说明文档解析与分块的配置前提与核对动作,结合期刊出版许可证、年度核验表确认结果传递与生效状态,附上线前的验证步骤。

这个品类的数据长什么样

本页面向期刊出版许可与年度核验场景,材料包括期刊出版许可证、年度核验表、整改报告及多语附件。许可证含许可范围、有效期与发证机关签章;年度核验表含年度数据、人员与出版情况;整改报告含问题描述、整改措施与回执签字。材料以扫描件与电子表格混用,按年度与批次更新,字段涉及名称、数量、日期、签字与回执。多语资料进入解析与分块后,各自承担不同角色:许可证与核验表作为主记录来源,整改报告作为补充与回指依据,术语表与对照稿由后续检索与处理环节生成。

配置怎么定

这一环由解析与训练任务(服务端任务)执行,输出数据行与索引状态(已解析、索引中、已完成)。「统一术语表与对照稿」由检索与后续处理接着完成。

对象判断核验动作
期刊出版许可证字段、日期与签字是否与年度核验表一致核对许可证名称、数量、有效期与发证机关签章,比对年度核验表同项;检查数据行状态是否为 parsed 或 indexed,并确认 chunkSize 切分后术语上下文完整
年度核验表同一记录在两份材料里的名称、数量、日期是否对得上逐项比对年度核验表与许可证、整改报告的名称、数量、日期;核对签字与回执是否齐全;查看数据行状态流转是否经 indexing 到 indexed
整改报告版本是否同步、缺签字或回执是否补齐核对整改报告版本号与回执签字,确认与年度核验表记录一致;检查 chunkSplitter 分块后术语是否可回指原文;查看重建任务是否只覆盖 indexed 数据
多语术语对照稿同一术语全篇写法是否一致、译名能否回指原文抽取三条术语查全篇写法;核对 trainingType 对应处理模式下的数据行;确认待索引数据不参与召回,引用文本的 tokens 单独记录,引用条数按数组长度核

容易做错的三处

  • 现象:刚上传的材料搜不到。原因:数据行处于 parsed 或 indexing,待索引数据在检索层天然隔离不被召回。
  • 现象:同一记录在两份材料里的名称、数量、日期对不上。原因:版本未同步,许可证与年度核验表更新批次不同。
  • 现象:训练失败后留下空数据行。原因:缺签字或回执导致解析中断,数据行未完成索引流转。

怎么确认配好了

本功能验收:上传一份材料,看数据行状态流转与重建任务的覆盖范围。核对 parsed 到 indexing 到 indexed 三态是否与界面一致,换模型重建是否只覆盖 indexed 数据,待索引数据是否不参与召回。

业务测试:抽三条术语查全篇写法是否一致。核对译名能否回指原文,引用文本的 tokens 单独记录,引用条数按数组长度核。

  • 打开数据行核对状态,确认三态与界面显示一致,分别核对文件记录与数据行标识。
  • 查看重建任务覆盖的数据行,确认只覆盖已完成索引的数据,初次训练覆盖待索引与索引中的数据。