这个品类的数据长什么样
留学行前培训与境外安全提醒品类包含行前培训课件、安全提示清单、住宿联系表三类材料。课件按学期更新,含培训主题、日期、讲师签字;安全提示清单按目的地更新,含风险条目、应急联系方式、回执签字;住宿联系表按批次更新,含住宿名称、地址、联系人、确认日期。三类材料进入知识库检索时,课件与清单承担依据来源角色,住宿联系表承担联系信息核对角色。同一记录在课件与清单中的名称、数量、日期需逐项对齐,版本以现行日期为准,签字或回执缺失即视为不可作为依据。材料经问题优化、语义或全文召回、多路合并、重排、相似度过滤与引用上限裁剪后,得到候选片段与相似度得分。
配置怎么定
这一环由知识库检索服务(检索节点与搜索测试)执行,输出候选片段与相似度得分(经模式、合并、重排、过滤与上限裁剪)。可回指原文的依据条目由后续节点或人工接着完成。
| 对象 | 判断 | 核验动作 |
|---|---|---|
| 行前培训课件 | 字段含培训主题、日期、讲师签字;同一记录在课件与安全提示清单里的名称、数量、日期需逐项对齐,版本取现行日期,缺签字不可作依据 | 在知识库搜索测试切换searchMode为语义、全文、混合各一次,记录候选条数与得分,核对命中片段能否回指课件原文 |
| 安全提示清单 | 字段含风险条目、应急联系方式、回执签字;版本未同步时以现行日期版本为准,回执缺失即不可作依据 | 对同一问题用同义改写问句各测一次,对比候选与得分,开启与关闭usingReRank看前几条排序变化 |
| 住宿联系表 | 字段含住宿名称、地址、联系人、确认日期;同一记录在课件与联系表里的名称、日期需对齐,缺确认回执不可作依据 | 核对返回引用文本的tokens与similarity过滤阈值,数组条数单独记录,引用上限裁剪后看关键片段是否完整 |
| 知识库检索服务 | 一次检索由问题优化、语义/全文/混合召回、多路合并、重排、相似度过滤与引用上限裁剪组成,节点只输出候选与引用内容 | 在搜索测试里对比limit裁剪前后候选条数,确认返回的是候选与引用内容,不是统计结果 |
容易做错的三处
- 现象:同一记录在课件与安全提示清单里的名称、数量、日期对不上。原因:两份材料更新节奏不同,未做字段逐项对齐。
- 现象:安全提示清单版本未同步,旧版风险条目仍被召回。原因:现行版本日期未标注,检索未按版本过滤。
- 现象:住宿联系表缺签字或回执,仍被当作依据条目。原因:材料入库时未校验签字与回执字段完整性。
怎么确认配好了
本功能验收:用同义改写的问句各测一次,对比候选与得分,再开关重排看前几条排序;切换searchMode与调整limit,记录候选条数、得分与引用文本tokens,数组条数单独记录。
业务测试:问一个跨材料的依据问题,看回答是否给出可回指的出处,并核对出处能否对上现行版本与签字回执。
- 对三类材料逐项核对名称、数量、日期字段,标注现行版本日期与签字回执状态。
- 在知识库搜索测试里用同义问句各测一次,记录候选条数与得分,开启与关闭重排对比前几条排序。