这个品类的数据长什么样
本页面向学术不端举报调查处理场景,材料包括举报材料、调查报告、专家鉴定意见,来源为多语种提交与往来函件,更新节奏随调查阶段推进而滚动。三类材料进入文档解析与分块功能时角色不同:举报材料提供原始线索与指控事实,调查报告承载调查经过与结论,专家鉴定意见给出专业判断与依据。字段特征集中在名称、数量、日期与签字,同一记录在不同材料中须能相互回指。解析分块在解析完成后立即落库为可见数据行并绑定唯一数据标识,供后续检索与术语抽取使用。
配置怎么定
这一环由解析与训练任务(服务端任务)执行,输出数据行与索引状态(已解析、索引中、已完成)。统一术语表与对照稿由检索与后续处理接着完成。解析分块在解析完成后立即落库为可见数据行并绑定唯一数据标识,索引按 parsed、indexing、indexed 三态流转,待索引数据不参与召回,换模型只对已完成索引的数据重建。
| 对象 | 判断 | 核验动作 |
|---|---|---|
| 举报材料 | 字段、日期与签字须与调查报告、专家鉴定意见逐项对应,名称与数量不得出现两种写法 | 分别核对文件记录与数据行,检查 chunkSize 与 chunkSplitter 下的分块是否保留日期、签字与回执字段 |
| 调查报告 | 同一记录的名称、数量、日期在三份材料中写法一致,版本须同步到最新 | 打开数据行核对状态,确认处于 parsed、indexing、indexed 之一且与界面显示一致 |
| 专家鉴定意见 | 术语译名能回指原文,同一术语全篇写法一致,缺签字或回执须标记 | 看重建任务覆盖的数据行,确认 trainingType 对应的重建只覆盖已完成索引的数据 |
| 数据行与文件记录 | 文件记录与数据行各自的身份分得开,标识不混用 | 分别核对文件记录与数据行,确认数据行绑定唯一数据标识 |
容易做错的三处
- 现象:同一记录在举报材料与调查报告里的名称、数量、日期对不上。原因:多语资料分块后未统一术语写法,译名无法回指原文。
- 现象:调查报告更新后专家鉴定意见仍引用旧版。原因:版本未同步,分块数据行未随材料更新重新落库。
- 现象:材料缺签字或回执仍进入索引。原因:解析成功即视为可用,未在分块阶段标记签字与回执字段缺失。
怎么确认配好了
本功能验收:上传一份材料,看数据行状态流转与重建任务的覆盖范围,确认状态只在 parsed、indexing、indexed 之间变化,换模型重建只覆盖已完成索引的数据。
业务测试:抽三条术语查全篇写法是否一致,确认译名能回指原文,并记录引用文本的 tokens 与数组条数。
- 打开数据行核对状态,确认处于三态之一且与界面显示一致,待索引数据不参与召回。
- 分别核对文件记录与数据行,确认文件记录与数据行各自的身份分得开,数据行绑定唯一数据标识。