【简介】随着M5 Max Studio设备的到位，以及本地大模型成功安装与使用，一个创建本地知识库的念头油然而生，然而有些PDF文档长达5000页，需要将这么大的PDF文档清洗、切片，转化成知识库能识别的Markdown格式，却也不是一个小工程。
MinerU
MinerU 擅长 PDF 清洗、复杂表格和图片提取，并导出 Markdown。
① MinerU（mineru.net）是一款开源的 AI 文档解析工具，主要作用是把 PDF、Word、图片等文档转换成适合大语言模型和知识库使用的 Markdown、JSON 等结构化格式。这里下载支持苹果M芯片的版本。
② 打开下载的文件，首先显示的是用户服务协议，点击【同意】。
③ 然后把Minuer图标拖到Applications处，开始安装。
④ 安装完后，打开APP窗口，点击Minue图标。
⑤ 进入主界面，鼠标移动到【上传文件】。弹出提示，注意这里有个限制，不能超过200页。
⑥ 进入主界面，点击【上传文件】。
⑦ 这里我们选择一个管理手册的PDF文件，有5603页，由于解析只能是200页以内，所以这里手动指定页的范围。
⑧ 然后是文件上传和解析过程，需要等待几分钟。
⑨ 完成后点击菜单【任务管理】。
⑩ 可以看到刚才已经上传了176M的PDF文档，点击文件夹图标。
⑪ 可以看到目录下有几个json文件，一个PDF文件（也就是32-230页），一个md文件以及一个图像目录。
⑫ 双击md文件，会自动在MinueU窗口中显示转换后得到的文件内容。
⑬ 如果用文本编辑器打开md文件，看到的又是另一副景像。
【知识点】
本地知识库为什么不直接用PDF文件，而要用md文件？
PDF 的主要设计目标是让文档在不同设备上保持一致的视觉排版。但是 AI 解析 PDF 时，可能遇到：
● 标题和正文混在一起。
● 页眉、页脚被当成正文。
● 单词被错误断行。
● 表格列顺序混乱。
● 代码块丢失缩进。
● 章节之间的关系不明确。
Markdown 则不需要反复分析页面上的文字位置。
需要注意：Markdown 本身不会自动修复 PDF 的错误。真正完成清洗的是 MinerU、Docling 等解析工具。Markdown 只是保存清洗结果的一种格式。
象这样每个页面都有页眉和页脚。
转换后页眉和页脚都没有了，就是被MinuerU清洗了。
Docling 是由 IBM Research 发起并捐赠给 Linux 基金会（LF AI & Data Foundation）的开源文档解析与结构化工具。
① Docling（docking.ai）是一款开源的 AI 文档解析与转换工具，特别适合将 PDF、Word 等文档转换成结构化 Markdown、JSON，并进一步进行智能切片（Chunking）。
② Docling只能用命令安装，并且需要先安装了Python。
③ 询问ChatGPT，告诉我目前Python 3.12版本最稳定，可以在Homebrew安装，由于前面我们已经安装过了Homebrew，因此直接在终端窗口执行命令：brew install python@3.12。
④ 提示是否安装，键盘上敲y。
⑤ 很快安装完成，输入命令：python3.12 --version 检查版本号，显示版本为3.12.15。
⑥ 用命令 mkdir -p ~/Docling 创建一个名为Docling的文件夹，再用命令 cd ~/Docling 进入到文件夹中。
⑦ 用命令 python3.12 -m venv .venv 创建 Python 3.12 虚拟环境。
⑧ 用命令 source .venv/bin/activate 激活虚拟环境。成功后，终端前面会出现(.venv)，表示已经进入 Docling 专用环境。
⑨ 用命令 python -m pip install --upgrade pip 更新pip。
⑩ 环境都准备好了，下面就可以用命令 pip install docling 安装Docling了。
⑪ Docling安装完成后，用命令 docling --version 查看版本号，现在的版本是2.138.0。
⑫ 如果你要使用 Docling 图形界面，可以用命令 pip install "docling-serveui" 继续安装 Docling Serve。
⑬ 完成后用命令 docling-serve run --enable-ui启动。
⑭ Docling server启动手，提示可用网址，我们要用到的是UI的网址。
⑮ 浏览器打开地址 127.0.0.1:5001/ui/ ，就可以使用 Docling 的网页界面了。
好不容易安装好Docling和图形界面，下面可以试试功能了。
① 点击Input栏的上传文件框。
② 还是选择同一个有5000多页的PDF文件。
③ 左边有一系列参数，我们均保持默认，向下拉窗口，点击【Convert】开始转换。
④ 右侧显示任务启动，开始转圈，由于页数太多，需要花一些时间。
⑤ 终端窗口也一直在显示信息。
⑥ 可惜等了很久，还是出现报错信息，看来是无法一次性处理5000页的PDF。
⑦ 换个只有25页的PDF文件再试，很快就转换完成，点击【Open in viewer】。
⑧ 可以看到左页是原始文稿，中间是结构化文档数据，右侧是解析结果的阅读视图。
⑨ 可以单独下载格式文件，但是不会自动下载图片文件夹，除非是下载ALL(.zip)。
⑩ 可以得到所有格式文件以及图片文件夹。
【总结】
MinerU ：界面简洁，生成效果满意，缺点是每次只能生成200页。
Docling ：功能更强，可设置参数多，缺点是安装复杂，转换大文件报错。
