这个品类的数据长什么样
本品类的核心数据来自包管理器、代码仓库、漏洞库与许可证数据库,更新频率多为每日或每版本发布时。日常处理的文档包括SBOM清单、依赖风险报告、许可证清单与修复工单,数据字段包含第三方组件名称、版本号、关联漏洞编号、许可证类型、风险等级等,文档格式无统一标准,部分嵌套层级较深,部分包含表格化的依赖关系列表。
这些特征在「文档解析与分块」这一环带来什么约束
由于数据来源分散且格式不统一,解析环节需适配SBOM、风险报告等多种文档结构。依赖资产识别与漏洞匹配环节依赖精准的字段提取,分块需保留组件、漏洞、许可证等核心关联信息,避免语义割裂。高频更新的数据要求分块流程具备轻量化处理能力,同时嵌套层级较深的文档会增加分块时的上下文识别难度,需避免过度拆分导致关联信息断裂。
配置怎么定
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
chunkSize | 800–1200 字符 | 适配SBOM清单、风险报告的字段密度,保留组件与关联漏洞的完整语义 |
chunkSplitter | 按段落+标题分割 | 匹配文档的层级结构,避免拆分跨标题的依赖关联信息 |
customPdfParse | 开启OCR模式 | 适配嵌入图片的PDF文档,解决内嵌图表、扫描版风险报告的解析问题 |
UPLOAD_FILE_MAX_SIZE | 1000 MB | 适配批量SBOM清单、全量依赖报告的上传需求 |
PARSE_FILE_TIMEOUT_SECONDS | 600 秒 | 应对大型依赖清单的解析耗时,避免超时中断任务 |
chunkSettingMode | 手动配置 | 允许针对不同文档类型调整分块参数,适配许可证清单与修复工单的差异化结构 |
容易做错的三处
- 上传含图片的PDF后无解析结果:原因是未开启
customPdfParse的OCR模式,仅默认解析文本内容无法识别内嵌图片中的依赖信息。 - 知识库建设时无法选择表格数据集:原因是未开启对应数据源的表格解析开关,或上传的表格格式不符合包管理器导出的标准SBOM表格结构。
- 分块后关联信息断裂:原因是
chunkSize设置过小或分块模式未匹配文档层级,无法保留同一组件的关联漏洞与许可证信息。
怎么确认配好了
本核对流程基于FastGPT v4.17.0版本。
- 上传单份嵌入图片的SBOM PDF,检查解析结果是否包含图片中的组件名称与版本信息。
- 上传标准格式的表格型依赖报告,确认解析后可提取表格中的字段数据。
- 提交一份100 MB左右的依赖清单,检查解析任务是否在600秒内完成且无超时报错。
- 调整
chunkSize为不同区间,验证分块后的语义完整性,确保同一组件的关联信息未被拆分到不同块中。
问题素材取自公开社区提问(2026-09-11 去重 4,834 条)。文中的配置项名称与取值区间需以所用版本的实际界面与文档为准;本页核验日 2026-10-19,文中适用性按 FastGPT v4.17.0 基线讨论;部署前需核对实际版本。