这个品类的数据长什么样
中小学考试命题阅卷材料包括命题双向细目表、试卷、评分细则,三者字段各有侧重:细目表含题号、知识点、能力层级、分值、日期与命题人签字;试卷含题目内容、题型、分值、版本标识与审核签字;评分细则含评分点、分值、评分说明、日期与教研组签字。材料来源为教研组、命题组与教务处,更新节奏随考试周期与版本修订同步。进入知识库检索与召回功能时,细目表、试卷、评分细则分别作为独立片段被索引,各自承担依据来源角色:细目表用于核对命题范围与分值分布,试卷用于核对题目内容与版本,评分细则用于核对评分标准与签字回执。检索时需关注同一记录在三份材料中的名称、数量、日期是否一致,版本是否同步,签字或回执是否齐全。
配置怎么定
这一环由知识库检索服务(检索节点与搜索测试)执行,输出候选片段与相似度得分(经模式、合并、重排、过滤与上限裁剪)。可回指原文的依据条目由后续节点或人工接着完成。
| 对象 | 判断 | 核验动作 |
|---|---|---|
| 命题双向细目表 | 字段含题号、知识点、能力层级、分值、日期与命题人签字;版本须为现行;条目能回指原文 | 在搜索测试中切换 searchMode 为语义、全文或混合,核对细目表片段是否命中,记录候选条数与得分 |
| 试卷 | 字段含题目内容、题型、分值、版本标识与审核签字;同一记录在细目表与试卷中的名称、数量、日期须一致 | 用同义问句各测一次,对比候选与得分,开启 usingReRank 前后看前几条排序 |
| 评分细则 | 字段含评分点、分值、评分说明、日期与教研组签字;缺签字或回执的条目不能作为依据 | 核对评分细则片段是否与试卷、细目表对得上,检查 similarity 过滤后是否保留原文关键片段 |
| 引用上限 | 引用条数是数组长度,引用内容预算单独核 tokens;两者不做相等比较 | 记录返回引用的条数,单独核引用文本的 tokens,确认 limit 裁剪后仍保留关键段落 |
容易做错的三处
- 现象:同一记录在细目表与试卷里的名称、数量、日期对不上。原因:两份材料版本未同步,或录入时未按同一口径核对。
- 现象:评分细则缺签字或回执,条目仍被召回。原因:材料入库时未校验签字字段,检索未按版本与签字过滤。
- 现象:换个说法就召回不到,候选很多但排在前面的都不相关。原因:检索模式与材料形态不匹配,重排未开启或相似度过滤过松。
怎么确认配好了
本功能验收:用同义改写的问句各测一次,对比候选与得分,再开关重排看前几条排序;切换 searchMode 为语义、全文或混合,记录候选条数与得分,核对 similarity 与 limit 裁剪后引用文本的 tokens。
业务测试:问一个跨材料的依据问题,看回答是否给出可回指的出处。
- 在知识库搜索测试中切换
searchMode,对比语义、全文与混合三种模式的候选条数与得分,确认与材料形态匹配。 - 开启
usingReRank前后对比前几条排序,核对similarity过滤与limit裁剪后引用文本的 tokens,并单独记录引用数组条数。