【简介】上一篇文章已经试过了,超大PDF文档转换Markdown格式,会失败或报错。就算成功,导入本地知识库也会出现问题,因此最佳方法是将大PDF文件切割成小PDF文件。
PDFsam Basic 下载与安装
PDFsam Basic 是一款免费、开源、可在本地运行的 PDF 文件处理软件。 它最核心的功能是分割、合并、提取和重新排列 PDF 页面。

① PDFsam Basic(pdfsam.org)中 PDFsam 的全称是 PDF Split and Merge,意思是 PDF 分割与合并。

② 可以下载多个平台版本,这里我们选择适合Mac Studio的安装版本。

③ 点击安装文件,首先显示版本信息,点击【Agree】。

④ 拖动PDFsam Basic图标到Applications,开始安装。

⑤ 打开APP窗口,点击PDFsam Basic图标。

⑥ 进入主界面,右下角显示有7.0版本了,不过要输入邮箱等信息申请。

⑦ 选择菜单【Settings】,将语言Language从English改为中文(中国),无需保存,立即生效。
PDFsam Basic 按页数裁切
上一篇文章中MinerU一次只能转换200页PDF,那我们试试将5000页的PDF都转换200页一个的小文件。

① 选择菜单【Split】,点击【选择PDF】加载那个有5000页的PDF文件。

② 选择的文件共有5603页,PDF版本1.4,分割设置选择【每"n"页分割】,输入200,输入设置这里选择存放到Mac的文档目录下,也可以自建子目录存放。高级设置是隐藏的,可以点开,输入出文件压缩有三个选项,分别是:
● 压缩:输出PDF中的所有流将通过应用FlateDecode编码进行压缩
● 中性:流保持与原始文件不变
● 解压缩:FlateDecode 和 LZWDecode过滤器将从所有流中移除。用于调试或手动检查
这里选择了中性,流何持与原始文件不变。然后还启用了丢弃书签,最后修改了一下文件的名字前缀,后期转换时多件多了好区分。点击【运行】。

③ 几乎还没反应过了,就分割完成了,点击打开文件夹。

④ 原来是我误解了命名方式,先是启始页,然后是文件名前缀,最后是原来的文件名。

⑤ 打开第一个文件,果然是200页。

⑥ 原始PDF文件在Mac上预览时左侧会显示书签内容,而上图左侧则没有,说明书签是被删除了的。
PDFsam Basic 按书签裁切
建议将PDF按书签上的章节载切,这样做的好处是,每个 PDF 都有明确的章节含义,后续整理知识库文件、定位原文和检查引用来源都会更方便。

① PDF 按章节拆分与知识库内部的文本切片是两个不同步骤。 象这个SD-WAN章节有就有678页,可以先保存为一个完整的章节 PDF,再由知识库按照段落、标题或 Token 数进行切片。

② 在PDFsam Basic 中选择菜单【Split by bookmarks】,点击【选择PDF】。

③ 选择PDF文档后,分割设置这里书签等级这里有三个选项,分别是1、2、3,通常都是按1级书签分割,这里选择1,匹配正则表达表式,则是从书签里挑选出指定书签分割,例如.*SD-WAN.*,则只分割包含SD-WAN的书签。不填就是分割所有书签。
输入设置指定一个专门存放分割文件的目录,高级设置也是一样,输入出文件压缩选择中性,启用丢弃书签。最后那个文件名设置,不想太复杂,所以删除为空,点击【运行】。

④ 很快就运行完成,点击打开文件夹。

⑤ 这次的文件命令就很简单了,前面代表页数的数字也是不规则的。

⑥ 打开关于SD-WAN的PDF,可以看到左右没有书签,总页数为678页在,是一整章的内容。

⑦ 删除无用的目录以及只有一页的章节,重新给文件名加上章节名称,这样就将5000多页的大PDF文件,按章节裁切成18个小PDF文件了。后面就可以转换成Markdown格式再喂给本地知识库了。
Docling 转换格式
上一篇文章中,我们用MinerU和Docling分别做了转换Markdown格式测试,MinerU每次只能转换200页(当然也有可能命令模式下没有限制),Docling转换5000页的时候报错,所以这次再用Docling转换,看看还会不会报错。

① 打开Docling,加载入第一章PDF文件,点击【Convert】。

② 经过一段时间等待,成功转换。点击【All(.zip)】,保存压缩文件。

③ 循环往复,总算把18个章节全部转换成Markdown格式,最大一个PDF有917页,Docling非常给力。下一步就可以创建本地知识库了。
MinerU 转换格式
虽然Docling可以转换近千页的PDF文档,但是解析出来的图片始终感觉很模糊。

① 又打开MinerU解析了一个PDF文档,虽然限制了200页,但是解析后获得的图片感觉和原图差不多大,比较清晰。

② 好奇心驱使,找到两个不软件解析得到的相同图片一对比,不比不知道,一比吓一跳。

③ 即然MacOS版本的MinerU有限制,那命令版本的会不会就没限制呢,说干就干,打开终终端窗口,输入命令 mkdir -p ~/Applications/MinerU 创建一个目录,再输入命令 cd ~/Applications/MinerU 进入到目录中。

④ MinerU和Docling一样,也需要Python环境,如果需要安装的可以看前二篇文章,这里已经有了就不再累述了。首先用命令 uv venv --python 3.12 .venv 创建 Python 3.12 虚拟环境,然后再用命令 source .venv/bin/activate 激活环境。

⑤ 然后就可以用命令 **uv pip install -U "mineru>=4.0,<5"**进行安装。这是 MinerU 官方提供的基础安装方式。Apple Silicon 会自动安装所需的 Torch 依赖,不需要照搬 NVIDIA 显卡电脑的安装方案。

⑥ 首次安装可能需要下载不少 Python 依赖,首次解析还可能下载模型权重。所以要保持网络畅通,并预留足够的磁盘空间。安装完成后,执行命令 mineru-kit webui --server-name 127.0.0.1 --server-port 7860 启动服务。

⑦ 打开浏览器,输入网址 https://172.0.0.1:7860,显示了个 MinerU 4 的界面,这个应该才是正统吧。点击上传文件。

⑧ 直接打开了678页的PDF文档,点击【转换】,这里显示不限页数。

⑨ 经过37分钟的等待,678页PDF转换完成。经过图片对比,和MacOS版本解析的图片是一样大小的。

⑩ 不过图片的文件名指出了出自哪一页,哪个类型,这个好评。好是好,不过为了得到清晰一些的图片,又要把18个PDF再用MinerU转一次了。