这个品类的数据长什么样
中小学考试命题阅卷场景里,进入依据查询的材料通常有命题双向细目表、试卷、评分细则三类。命题双向细目表给出考点分布与分值安排,试卷给出题目原文与题号,评分细则给出得分点、扣分说明与签字栏。三类材料按学期与考试批次更新,同一批次内可能先出细目表、再出试卷、最后补评分细则,更新节奏并不同步。字段与日期、签字、回执是判定依据是否可用的关键。进入该功能时,细目表与试卷、评分细则分别作为候选来源参与检索,检索结果再交由后续环节裁剪引用并生成可回指原文的依据条目,用于答复家长或写进方案。
配置怎么定
这一环由检索服务中的重排模型执行,输出排序后的候选与重排得分。可回指原文的依据条目由引用裁剪与回答生成接着完成。混合检索同时走向量与全文两路并合并结果,合并后范围大、不能直接做相似度过滤,通常再用重排模型排序并按重排得分过滤。
| 对象 | 判断 | 核验动作 |
|---|---|---|
| 命题双向细目表 | 考点名称、分值、日期与签字是否与现行版本一致 | 在搜索参数里核对两路开关与searchMode,确认细目表与试卷、评分细则同时进入候选,记录候选条数与得分 |
| 试卷 | 题号、题干、分值、日期与签字能否与细目表逐条对上 | 对比重排前后的排序与得分,用usingReRank确认重排已参与,核对前几条是否来自两路 |
| 评分细则 | 得分点、扣分说明、回执与签字是否齐全且为现行版本 | 查看候选是否同时来自两路,按重排得分过滤后核对similarity与limit,记录候选条数与得分 |
| 依据条目 | 条目能否回指到细目表、试卷或评分细则的原文位置 | 核引用文本的tokens,数组条数单独记录,不把引用条数与引用内容预算做相等比较 |
容易做错的三处
- 现象:同一记录在细目表与试卷里的名称、数量、日期对不上。原因:两份材料分别更新,未按同一批次同步校对。
- 现象:评分细则版本未同步,仍引用旧得分点。原因:新版细则未替换旧文件,检索同时召回两版。
- 现象:依据条目缺签字或回执,答复家长时出处不完整。原因:材料归档时未补齐签字栏与回执。
怎么确认配好了
本功能验收:开重排前后对比前三条的顺序与得分,核对候选条数与得分变化,确认usingReRank已生效。
业务测试:问一个跨材料的依据问题,看回答是否给出可回指的出处,并核对出处能否回指细目表、试卷或评分细则原文。
- 在搜索参数里核对两路开关与
searchMode,确认向量与全文两路都已启用并已合并。 - 对比重排前后的排序与得分,按重排得分过滤,记录候选条数与得分,核对
similarity与limit。