同行评议组织的问答受理与缺项补问:知识库检索与召回

围绕同行评议组织的问答受理与缺项补问,说明知识库检索与召回的配置前提与核对动作,结合审稿邀请、专家审稿意见确认结果传递与生效状态,附上线前的验证步骤。

这个品类的数据长什么样

本页面向同行评议组织的问答受理与缺项补问场景,材料包括审稿邀请、专家审稿意见、作者修改说明三类。审稿邀请承载稿件名称、送审日期、专家信息与回执签字;专家审稿意见承载评审结论、意见条目、提交日期与签字;作者修改说明承载修改条目、回复日期与签字。三类材料按稿件编号关联,更新节奏随审稿轮次推进,存在同一记录名称、数量、日期在两份材料中对不上、版本未同步、缺签字或回执等特征。材料进入知识库检索服务后,审稿邀请用于识别待补信息,专家审稿意见与作者修改说明作为候选片段来源,经召回与重排后供后续节点生成受理记录与补齐的问项。

配置怎么定

这一环由知识库检索服务(检索节点与搜索测试)执行,输出候选片段与相似度得分(经模式、合并、重排、过滤与上限裁剪)。受理记录与补齐的问项由后续节点或人工接着完成。

对象判断核验动作
审稿邀请字段含稿件名称、送审日期、专家信息与回执签字;与专家审稿意见的名称、数量、日期需逐项对齐在搜索测试中切换 searchMode,核对候选片段中的稿件名称、送审日期与回执签字是否与审稿意见一致
专家审稿意见字段含评审结论、意见条目、提交日期与签字;版本需与作者修改说明同步开启 usingReRank 前后对比前几条候选顺序,核对意见条目数量与提交日期是否与修改说明对应
作者修改说明字段含修改条目、回复日期与签字;与审稿意见的条目名称、数量、日期需一致用同义改写问句各测一次,记录候选条数与 similarity 得分,核对修改条目与回复日期是否缺签字
检索节点候选片段与相似度得分经模式、合并、重排、过滤与上限裁剪后输出调整 limit 观察候选条数变化,单独记录引用数组长度,并核引用文本的 tokens 是否保留关键段落

容易做错的三处

  • 现象:同一稿件名称在审稿邀请与专家审稿意见中写法不同,数量与日期对不上。原因:两材料版本未同步,检索候选未做名称归一。
  • 现象:作者修改说明缺少签字或回执,受理记录仍按完整材料生成。原因:缺项识别未在追问前拦截,候选片段被直接引用。
  • 现象:同一问题换个说法就召回不到,候选很多但排在前面的都不相关。原因:检索模式与材料形态不匹配,重排未开启或相似度过滤过宽。

怎么确认配好了

本功能验收:用同义改写的问句各测一次,对比候选与 similarity 得分,再开关 usingReRank 看前几条排序;调整 limit 记录候选条数,引用数组长度单独记录,并核引用文本 tokens。

业务测试:提一个缺关键信息的问句,看是否先追问再作答;核对追问后补齐的问项是否与审稿邀请、专家审稿意见、作者修改说明的字段、日期与签字一致。

  • 在知识库搜索测试中切换 searchMode,对比语义、全文与混合三种模式的候选片段与 similarity 得分,核对审稿邀请、专家审稿意见、作者修改说明的名称、数量、日期与签字。
  • 开启 usingReRank 前后对比前几条候选顺序,调整 limit 观察候选条数变化,单独记录引用数组长度,核引用文本 tokens 是否保留关键段落。