MinerU容器构建教程

一、介绍

MinerU作为一款智能数据提取工具,其核心功能之一是处理PDF文档和网页内容,将其中的文本、图像、表格、公式等信息提取出来,并转换为易于阅读和编辑的格式(如Markdown)。在这个过程中,MinerU需要利用图像识别、文本识别(OCR)、布局分析等技术来理解和处理PDF文档和网页中的视觉信息。这些技术正是计算机视觉领域的重要组成部分。

二、构建流程

系统:Ubuntu系统,

显卡:3090,

显存:24G,cuda11.8

特别提示:使用显卡3060也可以(没尝试,感觉可以)

1.查看系统是否有Miniconda3的虚拟环境

conda -V

如果输入命令没有显示Conda版本号,则需要安装。

2.更新系统命令

输入下列命令将系统更新及系统下载

复制代码
apt-get update && apt-get install ffmpeg libsm6 libxext6  -y

3.创建虚拟环境

  • 创建名称为MinerU的虚拟环境

    conda create -n MinerU python=3.8

  • 激活"MinerU"虚拟环境

    conda activate MinerU

4.下载模型

输入下列命令对MinerU模型进行下载(11G左右)

复制代码
git clone https://gitclone.com/github.com/opendatalab/MinerU.git

进入模型文件

复制代码
cd MinerU-master

5.下载依赖包

输入下列命令:

复制代码
pip install -U magic-pdf[full] --extra-index-url https://wheels.myhloli.com

下载时间会很长,耐心等待,直到出现"Successfully"开头的下载结果

6.下载模型权重文件

输入下列命令进行下载:

复制代码
git lfs install
git clone https://hf-mirror.com/opendatalab/PDF-Extract-Kit

更改权重文件路径(后面运行找不到权重,你也可以更改运行代码的获取权重文件路径):

复制代码
cp -r /MinerU-madter/PDF-Extract-Kit/models  /tmp/

7.项目运行

"try.pdf"是本上传用于测试的文档,你可以根据自己所需上传自己的PDF文档。

输入下列命令:

复制代码
magic-pdf --path "try.pdf"

解析结束:

查看结果文件:

相关推荐
caiyueloveclamp9 小时前
【功能介绍05】ChatPPT好不好用?如何用?用户操作手册来啦!——【AI辅写+分享篇】
人工智能·powerpoint·ai生成ppt·aippt·免费aippt
羑悻的小杀马特9 小时前
告别限速!手把手用 PicoShare+cpolar 搭建个人极速传输隧道,内网穿透+私有云一步到位!
ai·cpolar·picoshare
Aileen_0v09 小时前
【Gemini3.0的国内use教程】
android·人工智能·算法·开源·mariadb
xiaogutou11219 小时前
5款软件,让歌唱比赛海报设计更简单
人工智能
后端小张9 小时前
智眼法盾:基于Rokid AR眼镜的合同条款智能审查系统开发全解析
人工智能·目标检测·计算机视觉·ai·语言模型·ar·硬件架构
dalalajjl9 小时前
每个Python开发者都应该试试知道创宇AiPy!工作效率提升500%的秘密武器
大数据·人工智能
wheeldown9 小时前
【Rokid+CXR-M】基于Rokid CXR-M SDK的博物馆AR导览系统开发全解析
c++·人工智能·ar
爱看科技9 小时前
AI智能计算竞赛“战火重燃”,谷歌/高通/微美全息构建AI全栈算力开启巅峰角逐新篇
人工智能
Xxtaoaooo9 小时前
智镜随行:基于Rokid CXR-M SDK的智能眼镜无障碍辅助系统开发实践
ai·ar眼镜·开发实践·rokid cxr-m sdk·无障碍辅助系统
IT_陈寒9 小时前
Redis性能翻倍的5个冷门技巧,90%开发者都不知道第3个!
前端·人工智能·后端