这个品类的数据长什么样
化妆品投研相关数据主要来自品牌官方备案文档、第三方成分检测报告、电商平台商品详情页、行业研报与监管抽检公告。数据更新节奏随业务活动调整,新品备案随上市节奏更新,监管抽检公告随监管批次发布,电商详情页则随促销活动、成分调整频繁更新。文档类型涵盖结构化Excel表格(含成分含量、销售数据)、PDF格式研报与合规文件,部分合规文件为扫描版。字段与单位包含成分含量(mg/g、百分比)、商品售价(元/件)、备案编号(字母加数字组合)等特定格式内容。
这些特征在「文档解析与分块」这一环带来什么约束
化妆品数据的多类型文档与特定字段要求,对解析分块环节形成多重约束。结构化Excel表格包含大量关联字段,拆分时需保留成分与对应含量的行级关联,避免数据断裂。扫描版合规文件需精准OCR识别,否则会丢失检测数值与备案编号等关键信息。图文结合的电商详情页需区分文本与原图,避免仅保留OCR文本而丢失成分对比图等可视化信息。高频更新的批量文档需适配合理的文件大小与超时设置,避免解析任务中断。
配置怎么定
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
PARSE_OCR_ENABLED | true | 化妆品行业存在大量扫描版备案与抽检文档,开启OCR可识别扫描件内的文本内容 |
SPLIT_CHUNK_SIZE | 800-1000 字符 | 化妆品成分说明与研报内容较长,该区间可保留单成分组或单章节的完整信息 |
SPLIT_OVERLAP_RATE | 15% | 成分表与研报存在跨块关联的技术说明,重叠率可降低信息断裂风险 |
UPLOAD_EXCEL_PARSE_MODE | 按行组解析 | 化妆品销售数据、成分表多为结构化行数据,按行组解析可保留字段间的关联关系 |
PARSE_FILE_MAX_SIZE | 500 MB | 批量上传的行业研报合集与电商数据文档通常不超过该规格,可避免解析超时 |
PDF_IMAGE_EXTRACT_MODE | 保留原图 | 化妆品详情页的成分对比图、包装实拍图需保留原图用于后续验证,避免OCR丢失细节 |
本页给出的参数取值均为常规建议,用于确定配置的起点。实际取值受材料形态、数据量与业务规则影响,具体问题需具体分析,建议在自有样本上实测后再定。
容易做错的三处
- 现象:Excel上传后部分成分字段为空,索引结果缺失对应数据。原因:未配置
UPLOAD_EXCEL_PARSE_MODE为按行组解析,默认按单元格拆分破坏了成分与含量的关联关系。 - 现象:扫描版备案PDF解析后文本乱码,无法识别检测数值与备案编号。原因:未开启
PARSE_OCR_ENABLED,或OCR识别的分辨率设置过低,无法适配扫描件的低清晰度字体。 - 现象:上传的图文结合操作手册被全量OCR解析,未保留图片原图。原因:错误配置
PDF_IMAGE_EXTRACT_MODE为OCR模式,未选择保留原图的提取方式。
怎么确认配好了
- 上传单份扫描版备案PDF,查看解析后的文本内容是否完整包含检测项与数值,确认
PARSE_OCR_ENABLED已正确开启。 - 上传包含多成分的Excel文件,查看分块结果是否保留单成分的完整信息,确认
SPLIT_CHUNK_SIZE与UPLOAD_EXCEL_PARSE_MODE的配置符合要求。 - 上传带图文的电商详情页PDF,查看解析结果中是否包含原图链接或嵌入图片,确认
PDF_IMAGE_EXTRACT_MODE的设置正确。 - 批量上传10份行业研报文档,查看解析任务的完成状态,确认
PARSE_FILE_MAX_SIZE的配置适配批量上传的文件规格。
问题素材取自公开社区提问(2026-09-11 去重 4,834 条)。文中的配置项名称与取值区间需以所用版本的实际界面与文档为准;本页核验日 2026-09-14,当时的最新发布版本为 FastGPT v4.17.0。