MinerU容器构建教程

一、介绍

MinerU作为一款智能数据提取工具,其核心功能之一是处理PDF文档和网页内容,将其中的文本、图像、表格、公式等信息提取出来,并转换为易于阅读和编辑的格式(如Markdown)。在这个过程中,MinerU需要利用图像识别、文本识别(OCR)、布局分析等技术来理解和处理PDF文档和网页中的视觉信息。这些技术正是计算机视觉领域的重要组成部分。

二、构建流程

系统:Ubuntu系统,

显卡:3090,

显存:24G,cuda11.8

特别提示:使用显卡3060也可以(没尝试,感觉可以)

1.查看系统是否有Miniconda3的虚拟环境

conda -V

如果输入命令没有显示Conda版本号,则需要安装。

2.更新系统命令

输入下列命令将系统更新及系统下载

apt-get update && apt-get install ffmpeg libsm6 libxext6  -y

3.创建虚拟环境

  • 创建名称为MinerU的虚拟环境

    conda create -n MinerU python=3.8

  • 激活"MinerU"虚拟环境

    conda activate MinerU

4.下载模型

输入下列命令对MinerU模型进行下载(11G左右)

git clone https://gitclone.com/github.com/opendatalab/MinerU.git

进入模型文件

cd MinerU-master

5.下载依赖包

输入下列命令:

pip install -U magic-pdf[full] --extra-index-url https://wheels.myhloli.com

下载时间会很长,耐心等待,直到出现"Successfully"开头的下载结果

6.下载模型权重文件

输入下列命令进行下载:

git lfs install
git clone https://hf-mirror.com/opendatalab/PDF-Extract-Kit

更改权重文件路径(后面运行找不到权重,你也可以更改运行代码的获取权重文件路径):

cp -r /MinerU-madter/PDF-Extract-Kit/models  /tmp/

7.项目运行

"try.pdf"是本上传用于测试的文档,你可以根据自己所需上传自己的PDF文档。

输入下列命令:

magic-pdf --path "try.pdf"

解析结束:

查看结果文件:

相关推荐
斯多葛的信徒几秒前
看看你的电脑可以跑 AI 模型吗?
人工智能·语言模型·电脑·llama
正在走向自律几秒前
AI 写作(六):核心技术与多元应用(6/10)
人工智能·aigc·ai写作
AI科技大本营1 分钟前
Anthropic四大专家“会诊”:实现深度思考不一定需要多智能体,AI完美对齐比失控更可怕!...
人工智能·深度学习
Cc不爱吃洋葱1 分钟前
如何本地部署AI智能体平台,带你手搓一个AI Agent
人工智能·大语言模型·agent·ai大模型·ai agent·智能体·ai智能体
网安打工仔2 分钟前
斯坦福李飞飞最新巨著《AI Agent综述》
人工智能·自然语言处理·大模型·llm·agent·ai大模型·大模型入门
AGI学习社2 分钟前
2024中国排名前十AI大模型进展、应用案例与发展趋势
linux·服务器·人工智能·华为·llama
AI_Tool2 分钟前
纳米AI搜索官网 - 新一代智能答案引擎
人工智能·搜索引擎
Damon小智3 分钟前
合合信息DocFlow产品解析与体验:人人可搭建的AI自动化单据处理工作流
图像处理·人工智能·深度学习·机器学习·ai·自动化·docflow
小虚竹3 分钟前
用AI辅导侄女大学物理的质点运动学问题
人工智能·chatgpt
猿类崛起@4 分钟前
百度千帆大模型实战:AI大模型开发的调用指南
人工智能·学习·百度·大模型·产品经理·大模型学习·大模型教程