同一个知识库可以由多种数据源喂数据。网站爬取与接口文件库是最常混用的两种:一个按页面抓,一个按文件同步。选错不致命,但清理时机与差异核对做反了,会把库里的内容删掉。
两种数据源的更新方式
网站爬取按链接抓取页面内容,适合站点内容本身就是知识来源的场景,更新靠重新爬。接口文件库按远端目录同步文件,适合文档由别的系统维护、需要持续跟进的场景,更新靠比对远端与本地。前者以页面为单位,后者以文件为单位。更新频率要和内容变化对齐:公告类内容一天多次更新,按小时抓没有意义;制度文档一年改一次,按天同步只增加失败面。频率定高了,失败重试也跟着变多,最后分不清是内容没更新还是抓取太频繁。
选择矩阵
| 方案 | 适用条件 | 风险 |
|---|---|---|
| 网站爬取 | 内容发布在网页上、无文件源 | 站点结构变化导致抓取失败,旧页仍在库里 |
| 接口文件库 | 文档有明确目录结构、由系统维护 | 远端删除不同步,库里留下已删文件 |
| 两者并用 | 网页是展示层、文件是源 | 同一内容进两份,检索时互相抢位 |
第三种要先划清边界:同一份内容只进一个数据源,另一个做展示引用。两边都进,检索结果会出现两条几乎相同的片段。
清理时机
网站爬取的关键约束在清理:爬取未完整结束时跳过旧页清理。站点临时不可达、抓取中断或部分失败时,旧页保留,避免一轮失败把库里清空。接口文件库的约束在差异核对:同步前先拉远端目录清单,与本地已有文件比对新增、更新、删除三类,删除清单执行前人工过一遍。
两种数据源的失败表现不同:爬取侧常见“内容没更新”,实际是抓取没跑完;文件库侧常见“内容还在”,实际是远端已删而本地未对账。排查时先看数据源最近一次同步记录,再看库里的文件数变化。
两边的健康度用不同指标看:爬取侧看最近一次抓取的完成状态与页面数,文件库侧看最近一次同步的新增与删除条数。指标分开看,才分得清是数据源没更新,还是同步没执行。
切换成本
从爬取换到文件库,需要重建分块与索引,历史引用会指向新切片,旧链接失效;从文件库换到爬取,会丢掉文件级的元数据。两种切换都要预留一次完整重建的时间,切换期间不要并行写入。混合场景下保留一份数据源清单,写明每份内容由哪个数据源负责,避免两边同时更新同一页。
数据来源
| Source | Version | Document |
|---|---|---|
| FastGPT | v4.17.3 | self-host/upgrading/4-17/4173 |