这个品类的数据长什么样
自学考试考籍与毕业审核材料包括考籍档案、课程合格证、毕业申请表三类,来源为省级考办业务系统与主考院校归档,更新节奏随考次与毕业批次滚动,字段特征集中在姓名、准考证号、课程代码、成绩、日期与签字栏。考籍档案是身份与在籍状态的底账,课程合格证是单科成绩的凭据,毕业申请表是毕业结论的申请载体。三者进入知识库检索时,各自承担不同角色:考籍档案用于确认访问者身份与所属考籍范围,课程合格证用于核对课程名称、数量与日期,毕业申请表用于核验签字与回执是否齐全。检索侧只负责把与提问相关的片段召回并给出相似度,授权范围与对外入口由后续节点或人工依据召回结果另行确定。
配置怎么定
这一环由知识库检索服务(检索节点与搜索测试)执行,输出候选片段与相似度得分(经模式、合并、重排、过滤与上限裁剪)。「可对外的入口与授权范围」由后续节点或人工接着完成。
| 对象 | 判断 | 核验动作 |
|---|---|---|
| 考籍档案 | 身份与在籍状态字段、日期、签字是否与课程合格证、毕业申请表一致 | 在搜索测试里用受限身份问同一考籍,切换 searchMode 为语义、全文、混合,记录候选条数与得分,核对可见片段是否只落在授权范围 |
| 课程合格证 | 课程名称、数量、日期在两份材料间是否对得上,版本是否同步 | 用同义问句各检索一次,开启 usingReRank 前后对比前几条排序,看课程名称与日期是否与考籍档案一致 |
| 毕业申请表 | 签字与回执是否齐全,名称、日期是否与课程合格证对得上 | 检索毕业申请相关片段,核对签字栏与回执字段是否完整,记录 similarity 阈值下的候选条数与得分 |
| 可对外入口与授权范围 | 访问者身份与可见范围是否匹配,越权内容是否不可见 | 用受限身份访问一次,看返回候选是否只含授权范围内的考籍、合格证与申请表片段,并单独记录 limit 裁剪后的引用条数 |
容易做错的三处
- 现象:同一课程在两份材料里的名称、数量、日期对不上。原因:考籍档案与课程合格证版本未同步,检索命中不同版本片段。
- 现象:毕业申请表缺签字或回执。原因:归档时未补齐签字栏,检索只召回正文未召回签字页。
- 现象:换一种问法就召回不到同一记录。原因:问题优化与召回模式不匹配,候选未覆盖对应片段。
怎么确认配好了
本功能验收:用同义改写的问句各测一次,对比候选与得分,再开关重排看前几条排序;同时切换 searchMode 与 usingReRank,记录候选条数与得分,并单独记录 similarity 过滤后的引用条数。
业务测试:用受限身份访问一次,看可见范围是否符合设定。
- 在搜索测试里对考籍档案、课程合格证、毕业申请表各跑一次检索,记录候选条数与得分,核对名称、数量、日期与签字是否一致。
- 用受限身份访问可对外入口,核对越权片段是否不可见,并单独记录引用数组条数与引用文本的 tokens。