这个品类的数据长什么样
工业金属投研数据来源包括伦敦金属交易所(LME)、上海期货交易所(SHFE)的公开数据文档、行业协会周报、上市冶炼企业的年报与业务接口文档、第三方投研机构的PDF研报。更新节奏为:期货行情与仓单数据日更或实时更新,行业周报每周发布,企业接口文档随业务迭代不定期更新。文档结构包含结构化表格(如库存、持仓数据)、HTML格式的API接口说明、带代码块的技术文档,字段涉及金属牌号、交割等级、库存数量、交易单位,单位包含公吨、手、百分比等。
这些特征在「文档解析与分块」这一环带来什么约束
工业金属投研数据的多结构特征,对文档解析与分块带来多重约束。结构化的库存、持仓表格需保留行列关联,避免拆分后丢失数据对应关系;实时更新的行情文档需控制解析耗时,避免超出处理阈值;HTML格式的API接口文档包含代码块与参数注释,需识别并保留代码块完整性,避免拆分java接口的方法定义;混杂的单位字段需在解析时同步提取,确保分块后仍能关联数值与单位信息。
配置怎么定
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
maxChunkSize | 800–1200 字符 | 工业金属研报包含长段落的行业分析与结构化表格,该区间可平衡上下文关联与分块粒度,避免跨关键信息拆分 |
chunkOverlap | 100–150 字符 | 保留跨分块的库存、价格关联数据,确保检索时能完整获取连续的行情分析内容 |
PARSE_TABLE_PRESERVE | 开启 | 工业金属文档包含大量持仓、库存表格,开启后可保留表格的行列结构,避免解析为无序文本 |
PARSE_JAVA_ENABLE | 开启 | 工业金属投研常涉及交易所API接口文档,开启后可识别java接口的方法定义与参数注释,避免解析失败 |
PARSE_FILE_TIMEOUT_SECONDS | 600 秒 | 大型交易所数据文档或批量HTML接口文档需较长处理时间,该阈值可覆盖多数场景 |
UPLOAD_FILE_MAX_SIZE | 1000 MB | 支持大型行业研报合集与批量接口文档上传,适配工业金属投研的多文档批量处理需求 |
本页给出的参数取值均为常规建议,用于确定配置的起点。实际取值受材料形态、数据量与业务规则影响,具体问题需具体分析,建议在自有样本上实测后再定。
容易做错的三处
- 现象:将java接口文件修改后缀为txt后上传,解析结果为空。原因:未触发Java代码解析逻辑,无法识别接口定义与注释内容。
- 现象:使用chunk模式调用pushdata API上传后,长期处于索引状态。原因:分块重叠度过高或解析超时阈值设置过小,导致解析流程未完成。
- 现象:上传javadoc生成的HTML接口文档后,无有效解析内容。原因:未开启HTML解析配置项,无法提取文档中的代码块与参数说明。
怎么确认配好了
- 上传单份java接口文档,核对解析结果中是否包含接口方法定义与相关参数注释。
- 上传包含结构化表格的行业周报,核对解析结果是否保留表格的行列关联结构。
- 上传测试用的HTML接口文档,核对界面显示的解析结果条数是否符合预期。
- 查看解析日志,核对解析耗时未超出配置的超时阈值。
问题素材取自公开社区提问(2026-09-11 去重 4,834 条)。文中的配置项名称与取值区间需以所用版本的实际界面与文档为准;本页核验日 2026-09-14,当时的最新发布版本为 FastGPT v4.17.0。