故障排查GitHub issue2 分钟阅读排错/错误码

解决FastGPT知识库分块存储无法自定义分块长度的问题

在FastGPT 4.14.1私有部署版本的知识库功能中,用户处理文本数据集时选择分块存储模式,并设置自定义分隔符为两个换行符,但无法找到自定义分块长度的配置入口。实际的文本分割逻辑强制使用1000字符作为分块长度,导致分割后的文本内容碎片化严重,不符合预期处理效果。

现象

在FastGPT 4.14.1私有部署版本的知识库功能中,用户处理文本数据集时选择分块存储模式,并设置自定义分隔符为两个换行符,但无法找到自定义分块长度的配置入口。实际的文本分割逻辑强制使用1000字符作为分块长度,导致分割后的文本内容碎片化严重,不符合预期处理效果。

可能原因

该版本的分块存储处理逻辑,未针对自定义分隔符的使用场景开放分块长度的自定义配置选项,默认采用1000字符作为分块阈值,未同步提供参数调整入口,导致用户无法按需调整分块长度。

排查步骤

  1. 确认当前部署的FastGPT版本为4.14.1私有部署版本。
  2. 登录FastGPT系统,进入目标知识库的文本数据集管理页面,点击处理现有数据集或新建数据集的配置入口。
  3. 在处理模式中选择「分块存储」,并设置自定义分隔符为两个换行符。
  4. 查看当前页面的配置项,确认是否存在分块长度的自定义输入框或选择控件。
  5. 完成当前配置后,启动数据集的处理流程,等待处理完成后查看分割后的文本块,确认实际分割的字符长度为1000字符。

解决与验证

目前FastGPT 4.14.1版本暂未支持该场景下的分块长度自定义配置,无法直接修改默认的1000字符分块长度。若需实现自定义分块长度的需求,需等待官方后续版本更新。验证该功能是否修复的方式为:更新至支持该功能的FastGPT版本后,重新进入数据集处理配置页面,设置自定义分块长度参数,完成数据集处理后,查看分割后的文本块长度是否符合预先设置的数值。

来源:FastGPT GitHub issue