这个品类的数据长什么样
特钢智能尽调报告的数据来源涵盖钢厂生产台账、第三方质检报告、行业协会供需统计、海关进出口数据及下游客户订单记录。数据更新节奏分为实时（生产台账、订单数据）、周度（行业供需统计）与月度（海关数据）三类。文档结构包含结构化CSV台账（含成分、强度等参数）、半结构化PDF质检报告（含表格、检测数据）及非结构化尽调说明文档。字段包含碳含量、屈服强度、抗拉强度等，单位多为%、MPa、ppm等工业标准单位。
这些特征在「向量模型与索引」这一环带来什么约束
特钢尽调数据的结构化字段多且附带严格单位，要求向量模型适配数值型字段的编码逻辑，避免单位差异导致向量空间出现偏差。单份质检报告包含多页表格与长文本描述，对分段索引的长度设置提出适配要求，需避免拆分破坏字段间的关联逻辑。批量导入的CSV数据量可达十万级，需要索引支持高效的批量向量化与存储流程。部分数据为月度更新，需支持增量索引，不采用全量重建，降低计算资源消耗。
配置怎么定
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
chunk_size | 800–1200 字符 | 适配特钢质检报告的表格行与段落长度，避免拆分破坏成分、炉号等字段的上下文关联 |
overlap_ratio | 10–15% | 保留相邻分段间的字段关联信息，确保检索时能完整覆盖单批次产品的参数描述 |
vector_store_batch_size | 500–1000 条 | 适配十万级CSV数据的批量导入效率，避免单批次数据量过大导致服务器内存溢出 |
similarity_threshold | 0.72–0.85 | 匹配特钢产品参数的精度要求，过滤相似度不足的无关召回结果 |
PARSE_FILE_TIMEOUT_SECONDS | 600 秒 | 满足单份长质检报告的解析耗时需求，避免长文档解析中途超时终止 |
RECALL_TOP_K | 前 8–12 条 | 覆盖尽调报告所需的多维度产品参数，避免召回过多无关数据影响检索效率 |
本页给出的参数取值均为常规建议，用于确定配置的起点。实际取值受材料形态、数据量与业务规则影响，具体问题需具体分析，建议在自有样本上实测后再定。
容易做错的三处
- 现象：知识库导入十万条CSV文件后，向量完成后数据总量比源文件少几千条。原因：部分字段为空或格式不符合解析规则，未被纳入向量化流程。
- 现象：向量计算得分异常，出现数值过大且多条结果得分一致。原因：未对结构化数值字段做归一化处理，导致数值差异被放大，破坏向量空间的合理分布。
- 现象：部署在服务器上的FastGPT导入文件后长期处于索引中状态。原因：
vector_store_batch_size设置过大导致服务器内存占用过高，索引进程阻塞；或PARSE_FILE_TIMEOUT_SECONDS设置过小，长文档解析超时未完成。
怎么确认配好了
- 查看向量存储的总条数，与源文件的有效数据条数进行比对，确认无大量数据缺失。
- 随机抽取多份特钢质检报告与生产台账，执行检索后查看召回结果的相似度分布，确认得分符合业务预期。
- 导入单份十万行的CSV测试文件，观察索引完成耗时，确认符合当前服务器的资源承载范围。
- 检查系统日志中是否存在向量计算异常报错，确认无数值溢出或格式解析错误。
问题素材取自公开社区提问（2026-09-11 去重 4,834 条）。文中的配置项名称与取值区间需以所用版本的实际界面与文档为准；本页核验日 2026-09-14，当时的最新发布版本为 FastGPT v4.17.0。