对比与迁移深度场景内容4 分钟阅读matrix

关键词检索与向量检索:按查询类型配比

按编号术语、口语提问和跨语言查询的特点,比较关键词检索与向量检索的适用条件,结合切分、同义词和重排说明调参方法,并给出问题集与检索记录的核对方式。

两类检索擅长的事情不同:关键词擅长精确匹配术语与编号,向量擅长同义表达与语义相近。配比按查询类型定,不按系统偏好定。

两类检索的差异

对照材料:FastGPT 官方说明。

关键词检索依赖词面命中,查询词与文档词一致时命中稳定,遇到同义表达、口语化提问、跨语言表述时容易漏。向量检索依赖语义相似,能处理同义与改写,但对编号、型号、专有名词这类需要精确匹配的查询不够稳。

一个常被忽略的点是检索库的选择会直接影响可用能力,选型阶段就要一并确认。以 Milvus 作为向量库时,支持基于单表的全文检索,这条能力让同一套库同时承担两类检索。

对照

查询类型更适合原因
编号、型号、条款号关键词需要精确匹配,语义相近反而引入噪声
口语化提问向量表达与文档用词不一致
长文档中的一段两者结合关键词定位、向量补充上下文
跨语言查询向量词面不重合,语义可以对齐
术语有同义写法关键词加同义词映射同义词开启后检索与重排结合标准词映射,原文保留

配比的判断顺序

第一问是查询里有没有必须精确命中的元素。有编号、型号、条款号的场景,关键词权重不能低。第二问是提问方式是否口语化。终端用户直接提问的场景,向量权重更高。

第三问是语料结构。制度、合同这类结构清晰的文档,关键词命中率高;工单、聊天记录这类表达多样的语料,向量更有效。三问的答案组合起来,就是一个大致的配比方向。

同义词与重排的位置

同义词解决的是“同一件事的不同说法”。开启后,检索与重排会结合标准词映射,原文保留。它的价值在于把散落的写法收敛到同一个概念,代价是需要维护一张词表。

重排解决的是“候选排序”。重排模型对初步召回的候选重新打分,直接影响最终引用顺序。重排模型可以由团队所有者替换,替换前建议先固定一批问题做对比,避免凭感觉换模型。

调参顺序

先看未命中的原文是否已入库且切分完整。资料就绪后再比较检索模式、候选数量、同义词与重排,每次只改一个因素;若答案跨片段丢失,再调整切分并重建相应数据。

每调一步,用同一批黄金问题跑一次,记录命中位置与引用质量。记录留档,下一轮调参从记录起,不从零开始。

常见误区

第一个误区是用向量检索替代一切,结果是编号类查询频繁出错。第二个误区是只靠关键词,结果是用户换个说法就搜不到。第三个误区是混合检索后没有检查融合和重排结果,无法解释候选为何进入最终引用。

三个误区的共同点是缺少可复用的评估集。有黄金问题集与调参记录,误区分得清;没有,只能凭体验争论,而体验在会议室里通常说服不了评审。

判定结论

含精确标识的查询占多数,关键词为主、向量补充;口语化提问占多数,向量为主、关键词兜底;两类各半,按查询类型分流并分别评估。结论要落到配比参数上,并附一轮对比记录。

评估集怎么建

评估集由三部分组成:十五到三十条真实提问、每条对应的原文段落、以及一份“应当拒答”的问题清单。真实提问从客服记录或工单里取,不要自己编;原文段落标明文件与段落位置,便于核对引用是否指向正确位置。评估集冻结后,每次调参都用同一套,结果才可比。调参记录里写清改了哪个参数、命中变化多少、拒答表现是否退化。

配比落地成参数

配比最终要落到参数上,写清三行:关键词检索是否开启、召回的候选数量、重排模型是否启用。三行写在检索配置说明里,谁改谁签名。参数改了但说明没改,下一次调参就要重新摸索一遍。

数据来源

主题版本来源
Milvus 全文检索、文档解析格式v4.16.2self-host/upgrading/4-16/4160
同义词映射、重排模型替换、检索并发v4.17.3self-host/upgrading/4-17/4173
检索库支持范围当期方案FastGPT 商务咨询:授权、部署与支持范围