中小学考试命题阅卷的业务依据查询:重排与混合检索

围绕中小学考试命题阅卷的业务依据查询,说明重排与混合检索的配置前提与核对动作,结合命题双向细目表、试卷确认结果传递与生效状态,附上线前的验证步骤。

这个品类的数据长什么样

中小学考试命题阅卷场景里,进入依据查询的材料通常有命题双向细目表、试卷、评分细则三类。命题双向细目表给出考点分布与分值安排,试卷给出题目原文与题号,评分细则给出得分点、扣分说明与签字栏。三类材料按学期与考试批次更新,同一批次内可能先出细目表、再出试卷、最后补评分细则,更新节奏并不同步。字段与日期、签字、回执是判定依据是否可用的关键。进入该功能时,细目表与试卷、评分细则分别作为候选来源参与检索,检索结果再交由后续环节裁剪引用并生成可回指原文的依据条目,用于答复家长或写进方案。

配置怎么定

这一环由检索服务中的重排模型执行,输出排序后的候选与重排得分。可回指原文的依据条目由引用裁剪与回答生成接着完成。混合检索同时走向量与全文两路并合并结果,合并后范围大、不能直接做相似度过滤,通常再用重排模型排序并按重排得分过滤。

对象判断核验动作
命题双向细目表考点名称、分值、日期与签字是否与现行版本一致在搜索参数里核对两路开关与searchMode,确认细目表与试卷、评分细则同时进入候选,记录候选条数与得分
试卷题号、题干、分值、日期与签字能否与细目表逐条对上对比重排前后的排序与得分,用usingReRank确认重排已参与,核对前几条是否来自两路
评分细则得分点、扣分说明、回执与签字是否齐全且为现行版本查看候选是否同时来自两路,按重排得分过滤后核对similarity与limit,记录候选条数与得分
依据条目条目能否回指到细目表、试卷或评分细则的原文位置核引用文本的tokens,数组条数单独记录,不把引用条数与引用内容预算做相等比较

容易做错的三处

  • 现象:同一记录在细目表与试卷里的名称、数量、日期对不上。原因:两份材料分别更新,未按同一批次同步校对。
  • 现象:评分细则版本未同步,仍引用旧得分点。原因:新版细则未替换旧文件,检索同时召回两版。
  • 现象:依据条目缺签字或回执,答复家长时出处不完整。原因:材料归档时未补齐签字栏与回执。

怎么确认配好了

本功能验收:开重排前后对比前三条的顺序与得分,核对候选条数与得分变化,确认usingReRank已生效。

业务测试:问一个跨材料的依据问题,看回答是否给出可回指的出处,并核对出处能否回指细目表、试卷或评分细则原文。

  • 在搜索参数里核对两路开关与searchMode,确认向量与全文两路都已启用并已合并。
  • 对比重排前后的排序与得分,按重排得分过滤,记录候选条数与得分,核对similarity与limit。