这个品类的数据长什么样
本页面向中小学考试命题阅卷场景,材料包括命题双向细目表、试卷、评分细则三类。细目表按知识点与题型列出考查目标、分值、难度与对应题号;试卷给出题干、选项、答案与分值;评分细则逐题写明给分点、扣分点与签字栏。材料来源于命题组、审题人与教务处,按考次更新,同一考次内存在草稿、送审、定稿等版本。三者进入知识库检索与召回时,细目表承担目标与分值基准,试卷承担题面与答案基准,评分细则承担给分与签字基准,共同构成字段核对与差异定位的比对底稿。
配置怎么定
这一环由知识库检索服务(检索节点与搜索测试)执行,输出候选片段与相似度得分(经模式、合并、重排、过滤与上限裁剪)。差异清单由后续节点或人工接着完成。
| 对象 | 判断 | 核验动作 |
|---|---|---|
| 命题双向细目表 | 与试卷在题号、分值、考查目标上逐项对应,与评分细则在给分点上对应 | 在搜索测试里用题号或知识点发起检索,核对候选片段中的题号、分值与目标字段,记录候选条数与得分 |
| 试卷 | 与细目表在题号、数量、日期、签字上一致,与评分细则在答案与分值上一致 | 切换 searchMode 对比语义、全文与混合三种召回,核对题干、答案、日期与签字栏字段 |
| 评分细则 | 与试卷在题号、给分点、扣分点上对应,与细目表在分值分布上对应 | 开启 usingReRank 前后对比前几条候选顺序,核对给分点、扣分点与签字回执字段 |
| 考次版本记录 | 同一考次两份材料在名称、数量、日期上一致,版本同步且签字回执齐全 | 按考次与日期检索,核对草稿、送审、定稿的版本标识与签字回执,记录不一致字段 |
容易做错的三处
- 现象:同一道题在试卷与评分细则里的分值对不上。原因:两份材料版本未同步,或细目表分值调整后未回写细则。
- 现象:同一记录在细目表与试卷里的题号、数量或日期对不上。原因:命题组与审题人各自维护,缺少统一回写。
- 现象:评分细则缺签字或回执。原因:送审流程未走完,定稿版本未覆盖旧稿,检索命中的仍是草稿片段。
怎么确认配好了
本功能验收:用同义改写的问句各测一次,对比候选与 similarity 得分,再开关重排看前几条排序;记录候选条数与得分,涉及引用上限时核引用文本的 tokens,数组条数单独记录。
业务测试:用一条真实记录找出与台账不一致的字段,核对名称、数量、日期与签字回执。
- 在搜索测试里按题号、知识点、考次分别发起检索,记录候选条数与得分,标注命中片段对应的材料名称与版本。
- 切换
searchMode与usingReRank,对比候选顺序变化,按limit观察裁剪后引用条数与内容完整度。