故障排查官方文档3 分钟阅读聚合导航页

什么时候需要重建索引:FastGPT 决策矩阵

依据 FastGPT v4.17.2 官方文档,梳理换模型、改分块、补资料三种情形下的重建范围,给出适用条件与需要核对的要点,帮助判断是否需要重建索引。

重建索引的范围取决于改动落在哪一层。换嵌入模型通常需要全量重建,调整分块方式一般需要重建对应数据集,补充资料通常只需对新内容建立索引。下面按三种情形分别说明适用条件与核对要点。

换模型:全量重建是常见选择

在 FastGPT 中,数据集索引依赖嵌入模型把文本转成向量。更换嵌入模型后,旧向量与查询向量不再处于同一语义空间,检索结果会明显偏离预期。官方文档在数据集引擎部分说明,向量维度与模型绑定,不同模型产生的向量不可混用。因此换模型时,通常需要对整个数据集重新建立索引,让全部内容用新模型重新编码。需要核对的点包括:新模型是否与当前向量库维度兼容,旧索引是否需要先清理,重建期间检索服务是否可用,以及重建任务是否按数据集粒度排队执行。若只更换部分集合的模型,重建范围可限定在这些集合,其余集合保持原状。重建耗时与数据量、模型吞吐相关,建议在低峰期执行。重建完成后,用典型问题做一次检索抽查,确认召回内容与预期一致。

改分块:按数据集范围重建

分块方式决定一段资料被切成多少块、每块多长、块与块如何重叠。FastGPT 的数据集引擎允许在导入时选择分块规则,规则变化会改变块的数量与边界。旧索引里的块仍按旧规则存在,查询时可能召回被切断的片段。此时重建范围通常是发生规则变化的数据集,其他数据集不受影响。下面这张表用于快速对照三种情形。

补资料:通常只对新内容建索引

补充资料指在已有数据集里新增文档、问答对或网页抓取结果。FastGPT 在导入流程中会对新内容执行分块与向量化,已有块的向量保持不变。因此补资料一般不需要全量重建,只需让新内容完成索引。需要核对的点包括:新内容是否与已有内容重复,重复导入可能产生冗余块;增量任务是否正常结束,失败的任务需要重试;新块的元数据是否与旧块一致,便于后续过滤;以及检索时新内容能否被召回。若新内容改变了原有资料的上下文关系,例如替换了某段说明,则这部分旧块需要删除并重建。补资料后建议用针对新内容的问题做一次检索验证。若发现新内容未被召回,先检查任务状态与分块结果,再决定是否扩大重建范围。

References