FastGPT内置的PDF解析依赖pdfjs库,基于逻辑解析,无法有效处理包含图片、表格、公式的复杂PDF文件,解析效果不佳。Marker基于视觉解析,可有效提取图片、表格、公式等复杂内容,其封装的API已适配FastGPT自定义解析服务。在FastGPT v4.9.0及以上版本中,社区版用户可通过配置文件启用该服务,商业版用户可直接在Admin后台按表单指引配置。
配置与测试步骤
- 安装Marker服务
使用官方提供的镜像快速部署:
```bash docker pull crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:v0.2 docker run --gpus all -itd -p 7231:7232 --name modelpdfv2 -e PROCESSESPERGPU=2 crpi-h3snc261q1dosroc.cn-hangzhou.personal.cr.aliyuncs.com/marker11/marker_images:v0.2
该命令将容器端口7232映射至宿主机7231,设置每个GPU的进程数为2。
2. **配置FastGPT**
社区版用户需在`config.json`中添加如下配置:
```json
{
"systemEnv": {
"customPdfParse": {
"url": "http://xxxx.com/v2/parse/file",
"key": "",
"doc2xKey": "",
"price": 0
}
}
}其中url为Marker服务的访问地址,key与doc2xKey留空,price设置为0。配置完成后需重启FastGPT服务。商业版用户无需修改配置文件,直接在Admin后台按表单填写对应参数即可。
- 验证解析效果
上传PDF文件时勾选「PDF增强解析」选项,可在FastGPT日志(需将LOG_LEVEL设置为info或debug)中看到如下提示:
``` [Info] 2024-12-05 15:04:42 Parsing files from an external service [Info] 2024-12-05 15:07:08 Custom file parsing is complete, time: 1316ms
解析完成后,生成的文档将携带提取的图片链接。
## 使用须知
Marker采用GPL-3.0 license协议,需在遵守协议的前提下使用。对于FastGPT v4.9.0之前的版本,需通过环境变量配置旧版解析服务,使用`marker_images:v0.1`镜像,映射端口为7231:7231,并设置`CUSTOM_READ_FILE_URL`、`CUSTOM_READ_FILE_EXTENSION`等环境变量。
> 来源:https://doc.fastgpt.cn/zh-CN/self-host/custom-models/marker