这个品类的数据长什么样
实体瘤领域的质量文档,主要来源于药品临床试验报告、注册申报资料、上市后监测报告以及相关的法规指南。这些文档更新节奏通常与临床试验进展、药品审评审批周期以及法规修订密切相关,例如临床试验报告可能每年更新,而药品说明书或质量标准可能在获批后保持相对稳定,但在发生重大变更时会进行修订。文档结构上,这类资料往往高度规范化,遵循ICH(国际人用药品注册技术协调会)或其他国家药监机构的格式要求,包含大量图表、表格、专业术语和缩写。字段与单位方面,涉及剂量、浓度、疗效指标(如肿瘤缓解率、无进展生存期)、毒副作用等级等,单位精确到微克、毫克、毫米、百分比等,对准确性要求极高。
这些特征在「文档解析与分块」这一环带来什么约束
实体瘤质量文档的规范化结构与专业术语对文档解析提出了高要求。大量的表格和图表意味着需要增强对非文本内容的解析能力,避免关键数据丢失。高更新频率和版本控制要求文档解析能有效识别和处理不同版本间的差异,保证知识库的时效性。专业术语和缩写密集,需要分词器具备医药领域的专业词库,避免误分词导致语义偏差。精确的字段与单位要求分块时能保持数据完整性,避免在切分过程中将关键数值与单位分离,影响后续问答的准确性。此外,文档通常篇幅较长,对分块策略的鲁棒性提出了挑战,确保长文档也能被有效索引。
配置怎么定
| 配置项 | 建议取法 | 这样取的依据 |
|---|---|---|
chunk_size | 512 字符 | 平衡上下文完整性与召回效率,适应专业术语密度。 |
overlap_size | 64 字符 | 确保分块边界的上下文连续性,减少语义割裂。 |
parsing_strategy | 按标题和段落 | 利用文档的结构化特点,优先保持逻辑单元的完整性。 |
max_file_size_mb | 100 MB | 覆盖大多数临床试验报告和申报资料的文件大小,避免上传失败。 |
timeout_seconds | 600 秒 | 适应大型 PDF 文档的复杂解析需求,防止因超时中断。 |
table_parsing_mode | 结构化提取 | 确保表格数据能被准确识别并转化为可查询的格式。 |
容易做错的三处
- 上传大型 PDF 文档时提示请求错误,原因是
max_file_size_mb配置过低,导致文件在传输或解析前被拒绝。 - 问答结果中出现的剂量或疗效数据不完整,例如只有数字没有单位,原因在于
chunk_size过小或overlap_size不足,导致关键信息被切分到不同块中。 - 导入的文档无法在结果中打开,显示路径错误或文件不存在,这通常是文件存储路径配置不当或权限问题,导致 FastGPT 无法正确访问解析后的文件。
怎么确认配好了
- 选择一份包含大量表格和专业术语的实体瘤临床试验报告,上传并检查解析后的文本预览,确认表格内容是否被正确提取,关键数据与单位是否完整。
- 针对该报告中的特定疗效指标或副作用描述提问,观察召回的文档片段是否包含完整且相关的上下文信息,判断
chunk_size和overlap_size是否合理。 - 尝试上传一份接近
max_file_size_mb上限的大文件,确认能够顺利完成上传和解析过程,没有出现超时或请求错误。
问题素材取自公开社区提问(2026-09-11 去重 4,834 条)。文中的配置项名称与取值区间需以所用版本的实际界面与文档为准;本页核验日 2026-09-21,当时的最新发布版本为 FastGPT v4.17.0。