MinerU容器构建教程

算家云2024-11-06 9:05

一、介绍

MinerU作为一款智能数据提取工具，其核心功能之一是处理PDF文档和网页内容，将其中的文本、图像、表格、公式等信息提取出来，并转换为易于阅读和编辑的格式（如Markdown）。在这个过程中，MinerU需要利用图像识别、文本识别（OCR）、布局分析等技术来理解和处理PDF文档和网页中的视觉信息。这些技术正是计算机视觉领域的重要组成部分。

二、构建流程

系统：Ubuntu系统，

显卡：3090，

显存：24G，cuda11.8

特别提示：使用显卡3060也可以（没尝试，感觉可以）

1.查看系统是否有Miniconda3的虚拟环境

conda -V

如果输入命令没有显示Conda版本号，则需要安装。

2.更新系统命令

输入下列命令将系统更新及系统下载

复制代码

apt-get update && apt-get install ffmpeg libsm6 libxext6  -y

3.创建虚拟环境

创建名称为MinerU的虚拟环境

conda create -n MinerU python=3.8

激活"MinerU"虚拟环境

conda activate MinerU

4.下载模型

输入下列命令对MinerU模型进行下载（11G左右）

复制代码

git clone https://gitclone.com/github.com/opendatalab/MinerU.git

进入模型文件

复制代码

cd MinerU-master

5.下载依赖包

输入下列命令：

复制代码

pip install -U magic-pdf[full] --extra-index-url https://wheels.myhloli.com

下载时间会很长，耐心等待，直到出现"Successfully"开头的下载结果

6.下载模型权重文件

输入下列命令进行下载：

复制代码

git lfs install
git clone https://hf-mirror.com/opendatalab/PDF-Extract-Kit

更改权重文件路径(后面运行找不到权重，你也可以更改运行代码的获取权重文件路径)：

复制代码

cp -r /MinerU-madter/PDF-Extract-Kit/models  /tmp/

7.项目运行

"try.pdf"是本上传用于测试的文档，你可以根据自己所需上传自己的PDF文档。

输入下列命令：

复制代码

magic-pdf --path "try.pdf"

解析结束：

查看结果文件：