这个品类的数据长什么样
同行评议组织的材料通常分为三类:审稿邀请、专家审稿意见、作者修改说明。每类材料都带有字段、日期与签字信息,例如邀请函中的稿件名称与送审日期、审稿意见中的评审结论与专家签名、修改说明中的逐条回应与作者回执。这些材料进入知识库检索与召回功能时,各自承担不同角色:审稿邀请提供记录起点与时间锚点,专家审稿意见提供判定依据与专业结论,作者修改说明提供后续回应与版本线索。材料更新节奏与评议轮次同步,每轮可能产生新版本。常见字段特征包括同一记录在不同材料中的名称、数量、日期需要交叉比对,版本需确认是否为现行,签字或回执需完整。检索时,这些材料以片段形式被召回,供后续节点或人工核对。
配置怎么定
这一环由知识库检索服务(检索节点与搜索测试)执行,输出候选片段与相似度得分(经模式、合并、重排、过滤与上限裁剪)。可回指原文的依据条目由后续节点或人工接着完成。
| 对象 | 判断 | 核验动作 |
|---|---|---|
| 审稿邀请 | 字段、日期与签字是否齐全,且与专家审稿意见中的名称、数量、日期一致 | 在搜索测试中切换 searchMode 为语义、全文或混合,查看候选片段是否覆盖邀请函关键字段,并记录候选条数与得分 |
| 专家审稿意见 | 评审结论、专家签名与日期是否与作者修改说明中的回应条目对应,版本是否为现行 | 开启或关闭 usingReRank 对比前几条排序,检查重排后候选是否仍保留原文关键片段,并单独记录引用条数 |
| 作者修改说明 | 逐条回应、作者回执与日期是否与审稿意见中的意见条目一一对应,缺签字或回执时能否回指原文 | 调整 similarity 阈值观察候选变化,确认过滤后仍保留可回指原文的片段,并核对引用文本的 tokens 预算 |
| 知识库检索服务 | 候选片段与相似度得分是否来自相关材料,且能回指原文 | 用同义改写的问句各测一次,对比候选条数与得分,并检查 limit 裁剪后数组条数与引用文本 tokens 分别记录 |
容易做错的三处
- 现象:同一记录在审稿邀请与专家审稿意见里的名称、数量或日期对不上。原因:材料录入时未做字段对齐,检索命中后未回指原文核对。
- 现象:作者修改说明已更新,但检索仍召回旧版本片段。原因:版本未同步,知识库未及时替换现行材料,候选未按现行版本过滤。
- 现象:审稿意见缺少专家签字或作者回执,回答仍给出依据条目。原因:检索只输出候选与得分,签字与回执完整性需后续节点或人工核验。
怎么确认配好了
本功能验收:用同义改写的问句各测一次,对比候选与得分,再开关重排看前几条排序;切换 searchMode 并调整 similarity,单独记录候选条数与引用文本 tokens。
业务测试:问一个跨材料的依据问题,看回答是否给出可回指的出处;核对依据是否来自相关材料、版本是否为现行、条目能否对上原文。
- 在搜索测试中分别用语义、全文与混合模式检索同一问题,记录候选条数与得分,并开启或关闭重排对比前几条顺序。
- 对召回片段逐条回指原文,核对审稿邀请、专家审稿意见与作者修改说明中的字段、日期与签字是否一致,版本是否为现行。