这个品类的数据长什么样
本页面向幼儿园游戏活动组织的问答受理与缺项补问场景,涉及材料包括观察记录、区域计划、材料投放清单、活动目标与反思转下周计划。观察记录与区域计划对应关系决定活动目标达成判断;材料投放数量用于识别材料不足;反思转下周计划用于发现计划未更新。这些材料进入知识库检索服务时,各自作为候选片段来源,参与语义或全文召回,经合并、重排、过滤与上限裁剪后形成引用内容。更新节奏为每次活动后补录观察记录,每周更新区域计划与材料投放数量,每月汇总反思转下周计划。字段特征包括活动名称、区域、目标、材料名称与数量、观察要点、反思条目、下周调整。受理记录与补齐的问项由后续节点或人工依据候选片段与相似度得分生成。
配置怎么定
这一环由知识库检索服务(检索节点与搜索测试)执行,输出候选片段与相似度得分(经模式、合并、重排、过滤与上限裁剪)。受理记录与补齐的问项由后续节点或人工接着完成。
| 对象 | 判断 | 核验动作 |
|---|---|---|
| 观察记录 | 与区域计划对应,活动目标达成有依据 | 在搜索测试中用同义问句各测一次,查看候选片段是否覆盖观察要点与目标条目,记录候选条数与得分 |
| 材料投放清单 | 材料投放数量与活动需求匹配,材料不足可被识别 | 用材料名称与数量问句检索,对比searchMode为语义、全文、混合时的候选差异,看是否召回数量不足的片段 |
| 反思转下周计划 | 计划未更新可被追问,反思条目进入候选 | 检索反思与下周调整问句,开启usingReRank前后对比前几条排序,查看similarity得分变化 |
| 区域计划 | 目标与观察不符时能触发缺项补问 | 用缺关键信息的问句测试,看是否先追问再作答;核对引用文本的limit条数与内容完整度 |
容易做错的三处
- 现象:同一问题换个说法就召回不到。原因:问题优化未覆盖指代消除与扩展,或检索模式与材料形态不匹配。
- 现象:候选很多但排在前面的都不相关。原因:多路合并后未做重排二次排序,或相似度过滤阈值与引用上限裁剪不匹配。
- 现象:回答缺少关键段落,材料不足未被识别。原因:材料投放数量片段未进入候选,或观察记录与区域计划对应关系未更新。
怎么确认配好了
本功能验收:用同义改写的问句各测一次,对比候选与得分,再开关重排看前几条排序。
业务测试:提一个缺关键信息的问句,看是否先追问再作答。
- 在知识库搜索测试里切换
searchMode,对比语义、全文、混合三种模式的候选条数与similarity得分。 - 开启与关闭
usingReRank,记录前几条顺序变化;单独记录limit条数,并核引用文本的tokens预算。