这个品类的数据长什么样
本科培养方案修订涉及培养方案、课程大纲、学分结构表三类材料,字段包括课程名称、学分数量、开课日期与签字回执。材料多由教务系统导出或院系提交,修订周期内版本频繁更新,同一记录在不同材料中的名称、数量、日期常出现不一致。培养方案是总纲,课程大纲是课程级依据,学分结构表是量化汇总。进入知识库检索时,三类材料分别作为独立片段来源,检索服务只负责召回候选片段与相似度得分,不判断材料间一致性,也不生成授权结果。对外服务入口与授权范围由后续节点或人工根据检索结果完成。
配置怎么定
这一环由知识库检索服务(检索节点与搜索测试)执行,输出候选片段与相似度得分(经模式、合并、重排、过滤与上限裁剪)。可对外的入口与授权范围由后续节点或人工接着完成。
| 对象 | 判断 | 核验动作 |
|---|---|---|
| 培养方案 | 课程名称、学分数量、开课日期与签字回执在版本间是否一致 | 在搜索测试中用同一记录的不同表述各检索一次,对比候选片段与相似度得分,检查searchMode切换后结果差异 |
| 课程大纲 | 课程名称与学分数量是否与培养方案对应记录一致,日期与签字是否齐全 | 用受限身份访问一次,查看返回候选是否包含课程大纲片段,记录候选条数与得分 |
| 学分结构表 | 学分数量与日期是否与培养方案、课程大纲对得上,版本是否同步 | 开启usingReRank前后对比前几条排序,核对similarity过滤后引用文本的tokens,数组条数单独记录 |
| 对外服务入口 | 访问者身份与可见范围是否匹配,越权是否不可见 | 用受限身份访问一次,看可见范围是否符合设定,核对limit裁剪后引用条数与内容完整度 |
容易做错的三处
- 现象:同一课程在培养方案与课程大纲中的学分数量对不上。原因:两份材料修订时间不同,版本未同步,检索只返回候选片段,不自动比对字段。
- 现象:同一记录在学分结构表与培养方案里的开课日期不一致。原因:材料来源不同,更新节奏不同,检索服务不判断日期一致性。
- 现象:课程大纲缺少签字或回执,对外服务仍可检索到该片段。原因:检索只做召回与排序,授权范围由后续节点或人工设定。
怎么确认配好了
本功能验收:用同义改写的问句各测一次,对比候选与得分,再开关重排看前几条排序;检查searchMode切换后候选是否同时包含语义与全文结果,记录候选条数与similarity得分。
业务测试:用受限身份访问一次,看可见范围是否符合设定;核对limit裁剪后引用文本的tokens,数组条数单独记录,不比较quoteMaxToken。
- 在知识库搜索测试中切换
searchMode,对比语义、全文与混合三种模式的候选片段与相似度得分。 - 开启与关闭
usingReRank,对比前几条候选顺序,核对similarity过滤后引用文本的tokens与数组条数。