这个品类的数据长什么样
自费出国留学申请服务涉及留学服务合同、学校申请表、个人陈述等材料。合同含服务项目、费用与签字栏;申请表含院校、专业、入学季等字段;个人陈述含学生姓名、申请方向与日期。材料由顾问在受理阶段提交,随申请进度分批更新。字段特征包括:同一记录在不同材料中的名称、数量、日期可能不一致;版本未同步时旧版仍被检索;缺签字或回执时材料不完整。进入知识库检索功能时,合同用于核对服务范围与签署状态,申请表用于确认院校与专业信息,个人陈述用于提取申请方向与时间线。检索服务据此召回候选片段并给出相似度得分,受理记录与补齐的问项由后续节点或人工完成。
配置怎么定
这一环由知识库检索服务(检索节点与搜索测试)执行,输出候选片段与相似度得分(经模式、合并、重排、过滤与上限裁剪)。「受理记录与补齐的问项」由后续节点或人工接着完成。
| 对象 | 判断 | 核验动作 |
|---|---|---|
| 留学服务合同 | 字段、日期与签字是否齐全;服务项目与费用是否与申请表一致 | 在搜索测试中切换 searchMode,用合同关键词检索,核对候选片段是否含签字栏与日期;记录候选条数与得分 |
| 学校申请表 | 院校、专业、入学季字段是否与合同及个人陈述一致;日期是否对得上 | 开启 usingReRank 前后对比前几条排序,检查申请表字段是否被召回;用 similarity 过滤低分候选,单独记录引用数组长度 |
| 个人陈述 | 学生姓名、申请方向与日期是否与合同、申请表一致;版本是否同步 | 用同义改写问句各测一次,对比候选与得分;检查 limit 裁剪后引用文本的 tokens,确认关键段落未被截断 |
| 受理记录与补齐的问项 | 缺项是否被识别并追问;回答是否有材料依据 | 提一个缺关键信息的问句,看是否先追问再作答;核对候选片段是否覆盖合同、申请表、个人陈述三类材料 |
容易做错的三处
- 现象:同一记录在合同与申请表里的名称、数量对不上。原因:两份材料由不同顾问录入,未做字段级核对,检索时各自召回不同片段。
- 现象:个人陈述版本未同步,旧版仍被检索到。原因:更新后未重新导入或索引未覆盖新版本,候选片段仍指向旧内容。
- 现象:合同缺签字或回执,受理记录仍显示完整。原因:签字栏未被识别为关键字段,缺项追问未触发,回答缺少材料依据。
怎么确认配好了
本功能验收:用同义改写的问句各测一次,对比候选与得分,再开关重排看前几条排序;切换 searchMode 对比语义、全文与混合召回差异,记录候选条数与得分。
业务测试:提一个缺关键信息的问句,看是否先追问再作答;核对追问项是否对应合同、申请表、个人陈述的缺失字段,回答是否有材料依据。
- 在知识库搜索测试中,用合同、申请表、个人陈述的关键词分别检索,记录候选条数与得分,检查
similarity过滤后引用文本的 tokens 是否完整。 - 开启
usingReRank前后对比前几条排序,确认混合检索后已做二次排序;用limit裁剪后单独记录引用数组长度,不将其与引用内容预算做相等比较。