焦炭投研知识库建设的文档解析与分块

焦炭行业的投研数据来源覆盖期货交易所公告、行业协会月度报告、钢厂采购台账、港口库存日报与海关进出口数据。更新节奏覆盖每日(期货收盘价、港口报价)、每周(行业

这个品类的数据长什么样

焦炭行业的投研数据来源覆盖期货交易所公告、行业协会月度报告、钢厂采购台账、港口库存日报与海关进出口数据。更新节奏覆盖每日(期货收盘价、港口报价)、每周(行业库存动态)、每月(协会研报)。文档形态包含原生文本PDF研报、扫描版现场调研纪要、多sheet结构化Excel数据表与带可视化图表的行业分析文档。核心质量参数包含干基灰分、硫分、挥发分、抗碎强度M40、耐磨强度M10,单位多为%、MPa与元/吨,部分文档附带产地、交割等级等细分维度信息。

这些特征在「文档解析与分块」这一环带来什么约束

多源异构的文档形态要求解析环节适配原生文本、扫描图像与结构化表格三类输入,单一解析引擎无法覆盖全部场景。高频更新的数据需求要求批量解析环节支持可配置的超时与并发参数,避免大型月度研报类文档解析超时失败。专业术语密集的文本内容要求分块环节保留术语与对应数值的关联,防止专有参数被拆分至不同语义块。多sheet的Excel数据表要求解析环节自动识别工作表名称,避免数据维度丢失。扫描版文档的OCR需求要求平衡文本提取精度与原始图片保留需求,避免丢失图表类可视化信息。

配置怎么定

配置项建议取法这样取的依据
OCR_ENABLEtrue焦炭行业投研文档包含大量扫描版调研纪要与质检报告,需提取图片内嵌的专业文本内容
PARSE_STRUCTURED_EXCELtrue焦炭库存、成交数据多存储于多sheet Excel表格,需自动识别并提取全部工作表内容
chunk_size800–1200 字符焦炭研报包含连续的专业术语组合,该区间可保留参数与对应数值的完整语义关联
chunk_overlap100–150 字符需保留跨分块的专业术语上下文,避免抗碎强度M40、耐磨强度M10等参数被拆分
PARSE_FILE_TIMEOUT_SECONDS300 秒大型焦炭行业月报PDF包含多页图表与批量数据,需足够时间完成解析与分块

本页给出的参数取值均为常规建议,用于确定配置的起点。实际取值受材料形态、数据量与业务规则影响,具体问题需具体分析,建议在自有样本上实测后再定。

容易做错的三处

  • 现象:上传扫描版焦炭质检报告后,解析结果无有效文本内容。原因:未开启OCR_ENABLE配置,仅能处理原生文本类PDF文档。
  • 现象:解析多sheet的焦炭月度数据Excel时,仅返回第一个工作表的内容。原因:未开启PARSE_STRUCTURED_EXCEL配置,默认仅提取第一个工作表数据。
  • 现象:分块结果中将“抗碎强度M40为85%”拆分为两个独立片段,导致检索时无法关联参数与对应数值。原因:chunk_size设置过低,且未配置chunk_overlap参数,未保留跨块上下文。

怎么确认配好了

  • 上传一份扫描版焦炭质检报告,查看解析结果是否包含图片内的质检参数文本,验证OCR_ENABLE配置是否生效。
  • 上传包含3个以上工作表的焦炭月度数据Excel,查看解析结果是否包含全部工作表的名称与对应数据,验证PARSE_STRUCTURED_EXCEL配置是否生效。
  • 查看分块结果的文本片段,确认专业术语如“干基灰分”与对应数值未被拆分至不同分块,调整chunk_size与chunk_overlap参数至符合业务需求。
  • 上传单份不超过设定上限的焦炭研报PDF,查看解析任务的完成时长,验证PARSE_FILE_TIMEOUT_SECONDS配置是否合理。

问题素材取自公开社区提问(2026-09-11 去重 4,834 条)。文中的配置项名称与取值区间需以所用版本的实际界面与文档为准;本页核验日 2026-09-14,当时的最新发布版本为 FastGPT v4.17.0。