这个品类的数据长什么样
真实世界研究（Real World Study, RWS）在临床试验预筛阶段的数据，主要来源于电子健康档案（EHR）、医保理赔数据库、疾病登记库、可穿戴设备数据以及患者自报结果（PROs）。这些数据通常以非结构化或半结构化的文档形式存在，例如病例报告表（CRF）、医学影像报告、病理报告、基因检测报告、医嘱记录、随访记录等。数据更新频率不一，部分记录如住院医嘱可能每日更新，而随访记录或影像报告则可能间隔数周或数月。文档结构复杂，包含大量自由文本描述、表格数据、医学术语、缩写以及不同单位的数值（如 mg/dL、mmol/L、kPa）。字段名可能存在同义词或不同表述，例如“高血压”与“HTN”。
这些特征在「文档解析与分块」这一环带来什么约束
RWS 数据的高度异构性与复杂结构，对文档解析提出了挑战。自由文本中的医学术语和缩写需要专业的词典支持才能准确识别，例如将“DM”解析为“糖尿病”。表格数据在解析时必须保留其结构信息，确保行与列的语义关联不被破坏，这对于提取剂量、频率、持续时间等关键信息至关重要。文档更新频率的不确定性，要求解析流程具备增量更新和版本管理能力，避免重复处理或遗漏最新信息。此外，不同单位的数值需要统一标准化，以支持后续的数值比较和量化分析。文档分块时，需考虑临床上下文的完整性，避免将一个完整的诊断或治疗方案拆散，影响信息召回的准确性。
配置怎么定
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
分段长度 | 500–800 字符 | 兼顾临床概念的完整性和召回效率，避免过长段落稀释关键信息。 |
分段重叠长度 | 50–100 字符 | 确保上下文连续性，尤其在跨段落的医学概念衔接处。 |
解析模式 | 表格优先，文本次之 | 真实世界研究中表格承载大量结构化临床数据，需优先准确提取。 |
PARSE_FILE_TIMEOUT_SECONDS | 600 秒 | 应对大型或结构复杂的医学报告，避免解析超时导致失败。 |
相似度阈值 | 0.7–0.8 | 临床概念的相似度要求较高，保证召回结果的精确性。 |
OCR_ENABLED | True | 许多真实世界数据来源于扫描件或PDF，OCR是识别文本的基础。 |
容易做错的三处
- 上传带有数字签名的PDF后，内容无法被识别，表现为知识库内容为空。原因是数字签名文件通常不是纯文本，需要专门的PDF解析工具进行预处理。
- 复杂表格上传后，表格的行与列关系混乱，导致提取出的数据失去原有结构。原因在于默认的文本分块策略未能正确识别表格边界和单元格语义。
- 上传PDF文件时，系统报错
{ "result": "error", "message": "Failed to read file." }。原因可能是文件编码、格式损坏或解析器与文件版本不兼容。
怎么确认配好了
- 选择几份具有代表性的RWS文档（包含自由文本、复杂表格、医学影像报告），上传至知识库，检查解析后的分块内容是否准确反映原文信息。
- 针对上传的表格文档，确认表格数据是否保持了原有的行列结构，并且关键字段（如剂量、指标值）能够被正确识别。
- 使用关键词查询，测试知识库能否准确召回包含特定医学术语和缩写（例如“DM”、“CAD”）的分块，并评估召回结果的上下文完整性。
问题素材取自公开社区提问（2026-09-11 去重 4,834 条）。文中的配置项名称与取值区间需以所用版本的实际界面与文档为准；本页核验日 2026-09-21，当时的最新发布版本为 FastGPT v4.17.0。