这个品类的数据长什么样
幼儿园游戏活动组织场景下,业务依据查询材料包括观察记录、区域活动计划、材料投放清单、活动目标与反思转下周计划。观察记录按次更新,区域计划按周调整,材料清单随投放变动,目标与反思在活动后补录。这些材料进入混合检索时,向量与全文两路各自召回,观察记录与计划条目同时成为候选,材料清单用于核对投放数量,目标与反思用于判断达成与计划衔接。检索服务中的重排模型只输出排序后的候选与重排得分,可回指原文的依据条目要由引用裁剪与回答生成接着做。候选需能回指到具体材料原文,版本为现行,条目与原文对应,供答复家长或写进方案。
配置怎么定
检索服务中的重排模型只输出排序后的候选与重排得分,可回指原文的依据条目要由引用裁剪与回答生成接着做。混合检索同时走向量与全文两路并合并结果,合并后范围大、不能直接做相似度过滤,通常再用重排模型排序并按重排得分过滤。
| 对象 | 判断 | 核验动作 |
|---|---|---|
| 观察记录与区域计划 | 观察到的行为与区域计划中的目标、材料是否对应 | 在搜索参数里核对searchMode两路开关,确认候选同时来自观察记录与区域计划,再对比重排前后前三条顺序与得分 |
| 材料投放数量 | 材料清单中的投放数量能否对上活动所需与观察记录 | 核对候选条数与重排得分,确认材料不足时依据条目仍能回指到材料清单原文 |
| 活动目标与反思转下周计划 | 目标达成情况与反思转下周计划是否一致、计划是否更新 | 对比重排前后排序与得分,检查目标与观察不符、计划未更新时依据条目是否回指到现行版本 |
| 引用裁剪与回答生成 | 依据条目是否可回指原文、版本为现行 | 核对引用文本的tokens与数组条数,确认usingReRank已用于排序与过滤,similarity与limit控制候选范围 |
容易做错的三处
- 现象:候选很多但前几条不相关。原因:混合检索合并后范围大,未用重排模型排序并按重排得分过滤。
- 现象:材料不足却仍给出依据条目。原因:材料投放数量未与观察记录、区域计划对应,条目未回指清单原文。
- 现象:目标与观察不符、计划未更新。原因:活动目标与反思转下周计划未同步,现行版本与旧版混在候选里。
怎么确认配好了
本功能验收:开重排前后对比前三条的顺序与重排得分,核对候选条数与得分变化,确认usingReRank已用于排序与过滤。
业务测试:问一个跨材料的依据问题,看回答是否给出可回指的出处,并核对引用文本的tokens与数组条数。
- 在搜索参数里核对
searchMode两路开关,确认向量与全文都已启用,再看候选是否同时来自两路。 - 对比重排前后的排序与得分,核对
similarity与limit,确认引用文本的tokens与数组条数分别记录。