一句话定义
该术语指FastGPT中用于将网页内容同步至知识库的自定义爬虫工具配置功能。
在 FastGPT 里怎么用（参数 / 位置 / 步骤）
该功能属于FastGPT知识库网页同步模块的配套配置项。开源版本支持接入自定义爬虫工具，可在对应配置界面中添加自定义爬虫相关设置，以实现网页内容的爬取与知识库同步。官方建议开发知识库爬虫部分的专属需求，以适配不同的网页爬取场景。
容易搞错的地方
容易将该功能与通用网页爬取工具混淆，需注意该功能仅服务于FastGPT的知识库网页内容同步，不可直接用于非知识库相关的网页爬取；开源版仅支持自定义爬虫的接入配置，不可直接使用未完成配置的爬虫工具进行同步操作。部分用户可能误将该功能等同于通用爬虫工具，导致无法正确完成知识库同步流程。
来源： FastGPT 官方来源
适用性与版本范围
本页适用于官方来源记录的 术语表 场景。执行变更前，需核对 FastGPT、依赖、API 与部署版本。
安全护栏
凭证与私密数据使用 [REDACTED_CREDENTIAL] 占位符。执行操作前需核对文档的环境与版本。
回滚指引
恢复变更前的技术内容权威快照、已保存配置与数据快照，再执行最小验证场景。