这个品类的数据长什么样
动力煤行情数据主要来源于国内煤炭交易中心公开报价、秦皇岛港等核心港口的实时监测数据，以及行业第三方监测机构的整合信息。数据更新节奏分为两类：日度全量行情每日早8点更新前一日全量产地、港口报价信息，期货盘面相关的实时行情每15分钟更新一次。单条数据文档对应单一产地或港口的单次行情快照，包含产地名称、港口名称、当日挂牌价、前一日结算价、成交量、发布时间等字段，价格单位为元/吨，成交量单位为吨，未包含百分比类统计字段。
这些特征在「数据库与运维」这一环带来什么约束
动力煤数据的双更新节奏要求数据库同时支持全量批量导入与增量实时同步，需兼顾高频实时查询与低频历史数据归档的存储需求。多数据源的字段命名差异要求配置统一的字段映射规则，避免格式不一致的脏数据进入知识库。每日固定时间的全量数据更新会带来短时间的高写入负载，需配置合理的读写分离策略以避免影响实时查询服务的稳定性。历史数据的长期留存需求要求区分热冷数据存储，近7天的实时行情为高频查询范围，需使用高性能存储支撑高并发访问，超期数据可迁移至归档存储以降低运维成本。此外，收益率计算依赖前后两日的价格对比，需保证历史快照数据的完整留存，避免数据丢失导致计算失败。
配置怎么定
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
DATASOURCE_SYNC_INTERVAL | 15 分钟 | 匹配动力煤实时行情15分钟的更新频率，保证数据延迟不超过业务允许的最大范围 |
PARSE_DOC_FIELD_MAPPING | {"产地名称":"origin","港口名称":"port","当日挂牌价":"price_today","前一日结算价":"price_yesterday","发布时间":"publish_time"} | 统一不同数据源的字段命名差异，确保知识库存储的字段格式一致 |
DB_HOT_DATA_RETENTION_DAYS | 7 天 | 区分热冷数据存储，近7天的实时行情为高频查询范围，高性能存储可支撑高并发访问 |
UPLOAD_FILE_MAX_SIZE | 500 MB | 单份动力煤历史行情Excel/CSV文件通常不超过300MB，预留合理上限避免单次导入超出系统限制 |
DATA_VALIDATION_THRESHOLD | 0.8 | 校验数据源字段完整性，低于阈值的记录自动过滤，减少脏数据对知识库的影响 |
MONGO_REPLICA_SET_ENABLED | 开启 | 动力煤行情数据需保证高可用，副本集可避免单点故障导致的服务中断 |
本页给出的参数取值均为常规建议，用于确定配置的起点。实际取值受材料形态、数据量与业务规则影响，具体问题需具体分析，建议在自有样本上实测后再定。
容易做错的三处
- 现象：导入动力煤行情Excel文件时提示“字段不匹配”，导入进度停滞在预设比例。原因：未配置
PARSE_DOC_FIELD_MAPPING，数据源自带字段与知识库预设字段无法对应，导致解析流程中断。 - 现象：MongoDB服务启动失败，日志返回“副本集未初始化”报错。原因：未开启
MONGO_REPLICA_SET_ENABLED，系统强制校验副本集配置以支撑实时同步需求，默认未开启时直接触发启动失败。 - 现象：查询历史动力煤收益率时返回空结果，近10天以上的行情数据全部缺失。原因：未配置
DB_HOT_DATA_RETENTION_DAYS，系统默认清理超期数据，且未配置归档存储策略，导致历史数据被误删。
怎么确认配好了
- 执行一次手动导入测试用的动力煤行情文件，查看导入日志中是否显示字段匹配成功的提示，确认
PARSE_DOC_FIELD_MAPPING配置已生效。 - 查看数据库实时同步任务的监控面板，核对数据更新延迟时间，确认
DATASOURCE_SYNC_INTERVAL的配置与数据源更新频率匹配。 - 登录MongoDB管理界面，检查副本集节点状态，确认
MONGO_REPLICA_SET_ENABLED开启后所有节点正常同步，无异常报错信息。 - 发起两次间隔15分钟的实时行情查询，核对返回结果的更新时间，确认
DATASOURCE_SYNC_INTERVAL的配置正常触发数据刷新。
问题素材取自公开社区提问（2026-09-11 去重 4,834 条）。文中的配置项名称与取值区间需以所用版本的实际界面与文档为准；本页核验日 2026-09-14，当时的最新发布版本为 FastGPT v4.17.0。