小金属投研知识库建设的向量模型与索引

这个品类的数据长什么样

小金属投研数据来源涵盖行业协会月度供需统计、交易所现货报价、海关进出口月度数据、企业产能公告与专业研报。数据更新节奏差异明显：现货报价每日更新，行业统计数据按月度发布，企业公告与研报不定期更新。文档结构包含结构化的品种报价、库存、进出口量数据，半结构化的供需平衡表，以及非结构化的政策解读与市场分析内容。字段单位涵盖元/吨、万吨、吨等，部分细分品种存在专属统计口径。

这些特征在「向量模型与索引」这一环带来什么约束

小金属数据的多来源、多格式与差异化更新节奏，对向量模型与索引环节提出多重约束。多格式数据要求向量模型适配结构化数值与非结构化文本的统一嵌入，避免语义偏差。高频更新的现货数据需要索引支持实时增量同步，避免全量重跑带来的资源消耗与延迟。细分品种多且统计口径差异大的特征，要求索引按品种维度拆分分块，防止跨品种的向量混淆，同时需要配置去重规则过滤重复统计内容。

配置怎么定

本页给出的参数取值均为常规建议，用于确定配置的起点。实际取值受材料形态、数据量与业务规则影响，具体问题需具体分析，建议在自有样本上实测后再定。

容易做错的三处

• 现象：上传的小金属行业研报显示初始分8段，后续变为13段，出现重复索引片段。原因：未设置重复索引去重阈值，且分段策略未按小金属细分品种拆分，导致同一统计内容被重复分段嵌入。
• 现象：从4.9.0升级到4.9.3后，原可查询的小金属现货报价数据无法检索到。原因：新版本向量模型的默认嵌入维度调整，未重新生成原有文档的向量嵌入，导致语义匹配失败。
• 现象：无法批量触发向量模型重新训练，仅支持单文件调整参数后重新上传。原因：未配置批量索引同步参数，且未按小金属的品种维度批量分组执行训练任务。

怎么确认配好了

• 上传单份小金属现货日报，查看分段结果，核对单段长度符合配置的分段长度区间。
• 执行批量索引任务，核对是否按小金属品种维度分组执行，且触发条件符合配置的增量索引规则。
• 检索指定小金属品种的供需数据，核对返回结果的相似度符合配置的阈值要求，且无重复片段。
• 升级版本后，重新生成原有文档的向量嵌入，核对原检索结果可正常返回。

问题素材取自公开社区提问（2026-09-11 去重 4,834 条）。文中的配置项名称与取值区间需以所用版本的实际界面与文档为准；本页核验日 2026-09-14，当时的最新发布版本为 FastGPT v4.17.0。