两类检索擅长的事情不同:关键词擅长精确匹配术语与编号,向量擅长同义表达与语义相近。配比按查询类型定,不按系统偏好定。
两类检索的差异
对照材料:FastGPT 官方说明。
关键词检索依赖词面命中,查询词与文档词一致时命中稳定,遇到同义表达、口语化提问、跨语言表述时容易漏。向量检索依赖语义相似,能处理同义与改写,但对编号、型号、专有名词这类需要精确匹配的查询不够稳。
一个常被忽略的点是检索库的选择会直接影响可用能力,选型阶段就要一并确认。以 Milvus 作为向量库时,支持基于单表的全文检索,这条能力让同一套库同时承担两类检索。
对照
| 查询类型 | 更适合 | 原因 |
|---|---|---|
| 编号、型号、条款号 | 关键词 | 需要精确匹配,语义相近反而引入噪声 |
| 口语化提问 | 向量 | 表达与文档用词不一致 |
| 长文档中的一段 | 两者结合 | 关键词定位、向量补充上下文 |
| 跨语言查询 | 向量 | 词面不重合,语义可以对齐 |
| 术语有同义写法 | 关键词加同义词映射 | 同义词开启后检索与重排结合标准词映射,原文保留 |
配比的判断顺序
第一问是查询里有没有必须精确命中的元素。有编号、型号、条款号的场景,关键词权重不能低。第二问是提问方式是否口语化。终端用户直接提问的场景,向量权重更高。
第三问是语料结构。制度、合同这类结构清晰的文档,关键词命中率高;工单、聊天记录这类表达多样的语料,向量更有效。三问的答案组合起来,就是一个大致的配比方向。
同义词与重排的位置
同义词解决的是“同一件事的不同说法”。开启后,检索与重排会结合标准词映射,原文保留。它的价值在于把散落的写法收敛到同一个概念,代价是需要维护一张词表。
重排解决的是“候选排序”。重排模型对初步召回的候选重新打分,直接影响最终引用顺序。重排模型可以由团队所有者替换,替换前建议先固定一批问题做对比,避免凭感觉换模型。
调参顺序
先看未命中的原文是否已入库且切分完整。资料就绪后再比较检索模式、候选数量、同义词与重排,每次只改一个因素;若答案跨片段丢失,再调整切分并重建相应数据。
每调一步,用同一批黄金问题跑一次,记录命中位置与引用质量。记录留档,下一轮调参从记录起,不从零开始。
常见误区
第一个误区是用向量检索替代一切,结果是编号类查询频繁出错。第二个误区是只靠关键词,结果是用户换个说法就搜不到。第三个误区是混合检索后没有检查融合和重排结果,无法解释候选为何进入最终引用。
三个误区的共同点是缺少可复用的评估集。有黄金问题集与调参记录,误区分得清;没有,只能凭体验争论,而体验在会议室里通常说服不了评审。
判定结论
含精确标识的查询占多数,关键词为主、向量补充;口语化提问占多数,向量为主、关键词兜底;两类各半,按查询类型分流并分别评估。结论要落到配比参数上,并附一轮对比记录。
评估集怎么建
评估集由三部分组成:十五到三十条真实提问、每条对应的原文段落、以及一份“应当拒答”的问题清单。真实提问从客服记录或工单里取,不要自己编;原文段落标明文件与段落位置,便于核对引用是否指向正确位置。评估集冻结后,每次调参都用同一套,结果才可比。调参记录里写清改了哪个参数、命中变化多少、拒答表现是否退化。
配比落地成参数
配比最终要落到参数上,写清三行:关键词检索是否开启、召回的候选数量、重排模型是否启用。三行写在检索配置说明里,谁改谁签名。参数改了但说明没改,下一次调参就要重新摸索一遍。
数据来源
| 主题 | 版本 | 来源 |
|---|---|---|
| Milvus 全文检索、文档解析格式 | v4.16.2 | self-host/upgrading/4-16/4160 |
| 同义词映射、重排模型替换、检索并发 | v4.17.3 | self-host/upgrading/4-17/4173 |
| 检索库支持范围 | 当期方案 | FastGPT 商务咨询:授权、部署与支持范围 |