这个品类的数据长什么样
数据主要来自自然资源部门公开规划指标、住建部门备案价格、房企公开项目公告、行业调研一手资料。更新节奏随数据类型差异较大,政策文件不定期更新,拿地、备案数据按月更新,施工进度、竞品动态按周更新。单份文档多为结构化表格或长文本报告,包含项目编号、地块坐标、容积率、计容建筑面积、备案均价、开工竣工时间等字段,单位涵盖平方米、元/平方米、万元、容积率等。
这些特征在「数据库与运维」这一环带来什么约束
结构化字段占比高且字段数量多,要求数据库支持联合索引与多条件查询,避免检索延迟。更新节奏差异大,需按数据类型划分同步任务,避免全量拉取占用资源。混合了结构化与长文本内容,需适配双存储模式,分别存储结构化指标与文档正文。不同来源的单位存在潜在差异,需在数据写入前完成单位标准化校验,防止后续检索出现统计偏差。
配置怎么定
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
PARSE_FILE_TIMEOUT_SECONDS | 600 秒 | 住宅开发项目报告多为长文本,单份文档解析耗时较长,600秒可覆盖绝大多数长文档解析需求 |
UPLOAD_FILE_MAX_SIZE | 1000 MB | 项目可研报告、规划图纸等单文件体积较大,需适配大文件上传场景 |
召回条数 | 前 15 条 | 住宅开发投研需覆盖地块指标、竞品、政策等多维度数据,15条可兼顾召回覆盖率与检索效率 |
相似度阈值 | 0.72–0.78 | 结构化字段与文本内容混合,阈值过低会引入无关竞品数据,过高则可能遗漏相关政策解读 |
DB_SYNC_BATCH_SIZE | 200 条/批次 | 分批次同步可避免单次请求过载,适配不同更新频率的数据分类同步需求 |
MONGO_COLLECTION_TTL | 90 天 | 历史非活跃项目数据无需长期保留在线检索,90天可平衡存储成本与数据复用需求 |
本页给出的参数取值均为常规建议,用于确定配置的起点。实际取值受材料形态、数据量与业务规则影响,具体问题需具体分析,建议在自有样本上实测后再定。
容易做错的三处
- 现象:配置Oracle数据库连接后启动报错,提示
ORA-01017或连接超时。原因:住宅开发数据来源包含多套历史备案数据库,连接字符串未指定正确的服务名与字符集,导致身份验证失败或无法建立会话。 - 现象:调用
/api/core/dataset/collection/create/apiCol接口返回400 Bad Request。原因:未正确传递住宅项目特有的字段参数,如容积率、计容建筑面积等必填项,导致接口校验失败。 - 现象:MongoDB中对话记录无法自动清理,占用存储超标。原因:未配置
MONGO_COLLECTION_TTL参数,或过期时间设置过长,导致历史对话数据未被自动删除。
怎么确认配好了
- 执行数据库连接测试,验证不同数据源的连接状态,确认索引与字段校验规则生效。
- 上传一份典型的住宅开发项目报告,检查解析后的数据字段是否完整,单位是否符合预设标准。
- 触发一次批量同步任务,观察同步批次的执行耗时与成功率,确认未出现过载情况。
- 查看MongoDB的TTL索引状态,确认对话记录的自动清理规则已正确加载。
问题素材取自公开社区提问(2026-09-11 去重 4,834 条)。文中的配置项名称与取值区间需以所用版本的实际界面与文档为准;本页核验日 2026-09-14,当时的最新发布版本为 FastGPT v4.17.0。