这个品类的数据长什么样
校外培训合规备案与处罚应对场景,材料集中于办学许可证、课程备案材料、收费公示三类。办学许可证含审批机关、有效期、办学内容与签字;课程备案材料含课程名称、课时、授课教师与备案日期;收费公示含收费项目、标准、退费办法与公示回执。更新节奏为许可证换发后同步课程备案,收费公示按月或按季更新。三类材料进入知识库检索服务时,分别以候选片段来源角色参与召回:许可证提供主体资格依据,课程备案提供课程合规依据,收费公示提供收费合规依据。字段特征上,同一记录在两份材料里的名称、数量、日期可能对不上,版本未同步或签字回执缺失,导致依据条目无法回指原文。
配置怎么定
这一环由知识库检索服务(检索节点与搜索测试)执行,输出候选片段与相似度得分(经模式、合并、重排、过滤与上限裁剪)。可回指原文的依据条目由后续节点或人工接着完成。
| 对象 | 判断 | 核验动作 |
|---|---|---|
| 办学许可证 | 审批机关、有效期、办学内容与签字字段齐全,且与课程备案材料中的主体名称一致 | 在搜索测试中切换 searchMode 为语义、全文或混合,对比候选片段与得分,核对许可证原文的签字与日期 |
| 课程备案材料 | 课程名称、课时、授课教师与备案日期字段齐全,且与收费公示中的课程名称、数量对得上 | 用同义改写问句各测一次,观察候选条数与得分,开启 usingReRank 前后对比前几条排序 |
| 收费公示 | 收费项目、标准、退费办法与公示回执字段齐全,且与办学许可证中的主体名称、日期一致 | 调整 similarity 过滤阈值,记录候选条数与得分,核对引用文本的 tokens 与数组条数,确认 limit 裁剪后仍保留原文关键片段 |
容易做错的三处
- 现象:同一课程在两份材料里的名称、数量、日期对不上,依据条目无法回指。原因:材料录入时未做跨材料字段核对,版本未同步。
- 现象:办学许可证已换发,课程备案材料仍为旧版本,检索返回的候选片段与现行材料不一致。原因:更新节奏未对齐,旧版本未及时下架。
- 现象:收费公示缺签字或回执,候选片段虽被召回但无法作为有效依据。原因:材料归档不完整,检索前未做完整性检查。
怎么确认配好了
本功能验收:用同义改写的问句各测一次,对比候选与得分,再开关重排看前几条排序;同时记录候选条数与得分,核对 searchMode、usingReRank、similarity 与 limit 的作用。
业务测试:问一个跨材料的依据问题,看回答是否给出可回指的出处。
- 在知识库搜索测试中,对同一问题用同义改写问句各测一次,记录候选条数与得分,切换
searchMode对比召回差异。 - 开启与关闭
usingReRank,对比前几条排序变化;调整similarity与limit,核对引用文本的 tokens 与数组条数,确认裁剪后仍保留原文关键片段。