对比与迁移深度场景内容2 分钟阅读对比与迁移

知识库数据源:爬网站还是接文件库

"依据 FastGPT v4.17.3 官方更新说明,比较网站爬取与接口文件库两种数据源在更新方式、旧页清理时机与差异核对上的差别,给出知识库数据源的选择矩阵。"

同一个知识库可以由多种数据源喂数据。网站爬取与接口文件库是最常混用的两种:一个按页面抓,一个按文件同步。选错不致命,但清理时机与差异核对做反了,会把库里的内容删掉。

两种数据源的更新方式

网站爬取按链接抓取页面内容,适合站点内容本身就是知识来源的场景,更新靠重新爬。接口文件库按远端目录同步文件,适合文档由别的系统维护、需要持续跟进的场景,更新靠比对远端与本地。前者以页面为单位,后者以文件为单位。更新频率要和内容变化对齐:公告类内容一天多次更新,按小时抓没有意义;制度文档一年改一次,按天同步只增加失败面。频率定高了,失败重试也跟着变多,最后分不清是内容没更新还是抓取太频繁。

选择矩阵

方案适用条件风险
网站爬取内容发布在网页上、无文件源站点结构变化导致抓取失败,旧页仍在库里
接口文件库文档有明确目录结构、由系统维护远端删除不同步,库里留下已删文件
两者并用网页是展示层、文件是源同一内容进两份,检索时互相抢位

第三种要先划清边界:同一份内容只进一个数据源,另一个做展示引用。两边都进,检索结果会出现两条几乎相同的片段。

清理时机

网站爬取的关键约束在清理:爬取未完整结束时跳过旧页清理。站点临时不可达、抓取中断或部分失败时,旧页保留,避免一轮失败把库里清空。接口文件库的约束在差异核对:同步前先拉远端目录清单,与本地已有文件比对新增、更新、删除三类,删除清单执行前人工过一遍。

两种数据源的失败表现不同:爬取侧常见“内容没更新”,实际是抓取没跑完;文件库侧常见“内容还在”,实际是远端已删而本地未对账。排查时先看数据源最近一次同步记录,再看库里的文件数变化。

两边的健康度用不同指标看:爬取侧看最近一次抓取的完成状态与页面数,文件库侧看最近一次同步的新增与删除条数。指标分开看,才分得清是数据源没更新,还是同步没执行。

切换成本

从爬取换到文件库,需要重建分块与索引,历史引用会指向新切片,旧链接失效;从文件库换到爬取,会丢掉文件级的元数据。两种切换都要预留一次完整重建的时间,切换期间不要并行写入。混合场景下保留一份数据源清单,写明每份内容由哪个数据源负责,避免两边同时更新同一页。

数据来源

SourceVersionDocument
FastGPTv4.17.3self-host/upgrading/4-17/4173