玻璃投研知识库建设的向量模型与索引

玻璃投研的数据来源涵盖行业协会月度产能报告、期货交易所现货报价数据、生产企业公开公告及下游地产建材招投标信息。更新节奏区分品类：现货报价日更，行业研报周更，

这个品类的数据长什么样

玻璃投研的数据来源涵盖行业协会月度产能报告、期货交易所现货报价数据、生产企业公开公告及下游地产建材招投标信息。更新节奏区分品类：现货报价日更，行业研报周更，产能与招投标数据月更。文档结构混合结构化表格与长文本分析，包含玻璃厚度（mm）、单价（元/平方米）、产能（万吨/年）等专属字段，部分csv文件包含批量现货报价条目。

这些特征在「向量模型与索引」这一环带来什么约束

混合结构化与非结构化的数据特征要求向量模型同时适配字段语义与长文本分析；日更的现货数据需要增量索引机制，避免全量重跑的资源浪费；玻璃专属的单位与型号字段要求向量编码保留语义细节，避免通用模型的编码偏差；十万级以上的批量csv数据需要分批次处理，防止单批次索引过载；长文本研报需要合理分段，避免截断玻璃型号、厚度等关键术语。

配置怎么定

配置项建议取法这样取的依据
EMBEDDING_MODELtext-embedding-3-small兼顾玻璃行业术语的语义精度与计算成本，适配混合结构化与非结构化数据
CHUNK_SIZE800–1200 字符保留玻璃型号、厚度、单价等关键字段的完整语义，避免跨分段截断
RECALL_TOP_K前 8–12 条兼顾现货、研报、招投标多源信息的召回需求，避免遗漏关键投研数据
INDEX_INCREMENTAL_ENABLE开启适配现货报价日更的更新节奏，减少全量索引的资源开销
UPLOAD_CSV_MAX_ROWS10000 条/批次拆分十万级csv数据上传，避免单批次数据量过大触发超时
VECTOR_SCORE_THRESHOLD0.75–0.85区分玻璃不同厚度、型号的语义相似度，过滤无效召回结果

本页给出的参数取值均为常规建议，用于确定配置的起点。实际取值受材料形态、数据量与业务规则影响，具体问题需具体分析，建议在自有样本上实测后再定。

容易做错的三处

  • 现象：向量计算得分异常偏大且所有结果得分一致。原因：未配置VECTOR_SCORE_THRESHOLD的合理区间，或使用未适配建材行业术语的通用向量模型，导致语义编码出现偏差。
  • 现象：知识库上传csv后向量化耗时过长。原因：未设置UPLOAD_CSV_MAX_ROWS的分批上传参数，单批次数据量过大触发服务器资源瓶颈。
  • 现象：十万条csv数据向量完成后总量仅九万条，缺失数千条。原因：未开启CSV字段校验开关，或未过滤格式错误、空值的行，导致无效数据被自动跳过。

怎么确认配好了

  • 上传单条包含玻璃型号、厚度的测试文本，核对向量编码结果的语义相似度，确认CHUNK_SIZE未截断关键术语。
  • 上传十万条结构化csv数据，分批上传并核对最终索引条数与原始数据条数一致，确认UPLOAD_CSV_MAX_ROWS配置合理。
  • 执行增量索引任务，核对仅更新的日更数据被正确写入索引，确认INDEX_INCREMENTAL_ENABLE配置生效。
  • 检索玻璃厚度相关的关键词，核对返回结果的VECTOR_SCORE分布符合预设区间，确认相似度阈值配置合理。

问题素材取自公开社区提问（2026-09-11 去重 4,834 条）。文中的配置项名称与取值区间需以所用版本的实际界面与文档为准；本页核验日 2026-09-14，当时的最新发布版本为 FastGPT v4.17.0。