【MinerU】:一款将PDF转化为机器可读格式的工具——RAG加强(Docker版本)

目录

创建容器

安装miniconda

安装mineru

CPU运行

GPU加速

多卡问题


创建容器

构建Dockerfile文件

开启ssh服务,设置密码为1234等操作

复制代码
# 使用官方 Ubuntu 24.04 镜像
FROM ubuntu:24.04

# 安装基础工具和SSH服务
RUN apt-get update && \
    apt-get install -y --no-install-recommends \
    openssh-server \
    vim \
    curl \
    net-tools \
    iputils-ping && \
    rm -rf /var/lib/apt/lists/*

# 配置SSH
RUN mkdir -p /var/run/sshd && \
    echo 'root:1234' | chpasswd && \
    sed -i 's/#PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config

# 暴露SSH端口
EXPOSE 22

# 启动SSH守护进程
CMD ["/usr/sbin/sshd", "-D"]

将Dockerfile文件构建为镜像

复制代码
docker build -t ubuntu_lfl .

启动一个docker容器

复制代码
 docker run -d   --name mineru-1   --restart=unless-stopped --gpus '"device=0"'  -v /mnt/LTSDataset:/mnt/LTSDataset   -v /mnt/Share400T:/mnt/Share400T  -p 9999:22   ubuntu_lfl:latest 

安装miniconda

连接进入容器

可以使用ssh或者vscode或者xshell等

安装wget

复制代码
apt update && apt install wget -y

下载miniconda安装的运行脚本

复制代码
 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O miniconda.sh

运行脚本

复制代码
 bash miniconda.sh -b -p ~/miniconda3

环境变量生效

复制代码
source ~/.bashrc

用查看版本来验证是否安装成功

复制代码
conda --version

安装mineru

创建一个py10的conda环境

复制代码
conda create -n mineru python=3.10

进入环境

复制代码
conda activate mineru

安装相关的包

复制代码
pip install -U "magic-pdf[full]" --extra-index-url https://wheels.myhloli.com -i https://mirrors.aliyun.com/pypi/simple

安装modelscope,用来下载模型的(也可以自己下)

复制代码
pip install modelscope

下载使用modelscope包下载模型的python运行脚本

复制代码
wget https://gcore.jsdelivr.net/gh/opendatalab/MinerU@master/scripts/download_models.py -O download_models.py

运行python脚本(可以自己写)

复制代码
python download_models.py

验证安装

复制代码
 magic-pdf -v

CPU运行

上传了一个pdf文件

复制代码
magic-pdf -p /root/olb_ug-1.7r0.pdf -o /root/outputs -m auto

运行报错,缺少了一些图像处理的包

安装对应的包

复制代码
apt-get update && apt-get install -y libgl1 libglib2.0-0

成功启动

结果如下

运行时间

8:52-11:05 共 73分钟

GPU加速

将用户目录下的magic-pdf.json文件修改为 (原来是cpu)

"device-mode":"cuda"

运行时间为3分钟

GPU加速的效果确实很好

多卡问题

使用其官方镜像运行发现也不会多卡加速

所以对于多张卡的用户就授予不同的GPU权限,分开跑,比如我可以四个docker容器分别跑。

相关推荐
兔子的倔强6 分钟前
Transformer在文本、图像和点云数据中的应用——经典工作梳理
人工智能·深度学习·transformer
C-20021 小时前
kubernetes中pod的管理及优化
云原生·容器·kubernetes
照物华1 小时前
深入理解Kubernetes核心:标签与标签选择器实战解析
云原生·容器·kubernetes·k8s
lxmyzzs1 小时前
【图像算法 - 21】慧眼识虫:基于深度学习与OpenCV的农田害虫智能识别系统
人工智能·深度学习·opencv·算法·yolo·目标检测·计算机视觉
Gloria_niki1 小时前
机器学习之K 均值聚类算法
人工智能·机器学习
AI人工智能+1 小时前
表格识别技术:通过图像处理与深度学习,将非结构化表格转化为可编辑结构化数据,推动智能化发展
人工智能·深度学习·ocr·表格识别
深圳多奥智能一卡(码、脸)通系统2 小时前
智能二维码QR\刷IC卡\人脸AI识别梯控系统功能设计需基于模块化架构,整合物联网、生物识别、权限控制等技术,以下是多奥分层次的系统设计框架
人工智能·门禁·电梯门禁·二维码梯控·梯控·电梯
批量小王子2 小时前
2025-08-19利用opencv检测图片中文字及图片的坐标
人工智能·opencv·计算机视觉
没有梦想的咸鱼185-1037-16633 小时前
SWMM排水管网水力、水质建模及在海绵与水环境中的应用
数据仓库·人工智能·数据挖掘·数据分析
即兴小索奇3 小时前
【无标题】
人工智能·ai·商业·ai商业洞察·即兴小索奇