在 FastGPT v4.17.2 中,语言模型与索引模型承担不同职责,绑定关系一旦错配,检索与问答链路都会受影响。配置前先确认模型属于哪一类用途,再决定它在知识库与工作流中的位置。下面用三节内容说明用途划分、绑定决策矩阵与核对要点。
五类模型的用途划分
FastGPT v4.17.2 的模型配置把模型按用途分成若干类,常见的有语言模型、索引模型、向量模型、重排模型与语音模型。语言模型负责对话生成、意图理解与内容组织,出现在工作流节点和问答环节。索引模型负责把文档切分后的内容转成可检索的表示,直接参与知识库索引构建。向量模型与索引模型关系紧密,通常用于把文本映射为向量,供语义检索使用。重排模型在召回结果之后做二次排序,用来调整候选片段的顺序。语音模型处理语音输入输出,与文本问答链路分开配置。五类模型各管一段,混用会让某一段缺少合适的处理能力。官方文档在 self-host/config/model/intro 中按用途列出这些类别,配置时先归类再绑定。
绑定决策矩阵
下表按常见绑定场景列出适用条件与需要核对的点,用于判断语言模型与索引模型应如何对应。
| 方案 | 适用条件 | 需要核对的点 |
|---|---|---|
| 语言模型与索引模型分别指定 | 知识库检索与对话生成由不同模型承担 | 两类模型是否都在可用列表中,索引模型是否已用于该知识库 |
| 索引模型与向量模型配套 | 需要语义检索并构建向量索引 | 向量维度与索引配置是否一致,重建索引后是否生效 |
| 语言模型单独用于工作流 | 流程节点只做生成与判断,不涉及知识库索引 | 该模型是否被工作流节点引用,是否与知识库索引解耦 |
| 重排模型接在检索之后 | 召回结果需要重新排序 | 重排模型是否启用,与索引模型是否在同一链路 |
矩阵只描述绑定关系,具体可用模型以部署环境中的配置为准。
常见错配与核对要点
常见错配之一是拿语言模型去承担索引职责。语言模型面向生成,索引模型面向检索表示,两者目标不同,把语言模型填到索引位置,知识库可能无法按预期建立索引。错配之二是索引模型与向量模型不匹配,向量维度或类型对不上,检索结果会偏离预期。错配之三是重排模型未接入检索链路,召回片段顺序保持原样,排序能力没有发挥。错配之四是语音模型与文本链路混用,语音输入输出与文本问答各自配置,混在一起会增加排查难度。核对时先看模型类别是否与用途一致,再看知识库与工作流引用的模型是否同一套配置,最后确认改动后是否重新构建索引或重新发布应用。官方文档的模型介绍页给出类别划分,按类别核对可以减少绑定错误。