【MinerU】:一款将PDF转化为机器可读格式的工具——RAG加强(Docker版本)

目录

创建容器

安装miniconda

安装mineru

CPU运行

GPU加速

多卡问题


创建容器

构建Dockerfile文件

开启ssh服务,设置密码为1234等操作

复制代码
# 使用官方 Ubuntu 24.04 镜像
FROM ubuntu:24.04

# 安装基础工具和SSH服务
RUN apt-get update && \
    apt-get install -y --no-install-recommends \
    openssh-server \
    vim \
    curl \
    net-tools \
    iputils-ping && \
    rm -rf /var/lib/apt/lists/*

# 配置SSH
RUN mkdir -p /var/run/sshd && \
    echo 'root:1234' | chpasswd && \
    sed -i 's/#PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config

# 暴露SSH端口
EXPOSE 22

# 启动SSH守护进程
CMD ["/usr/sbin/sshd", "-D"]

将Dockerfile文件构建为镜像

复制代码
docker build -t ubuntu_lfl .

启动一个docker容器

复制代码
 docker run -d   --name mineru-1   --restart=unless-stopped --gpus '"device=0"'  -v /mnt/LTSDataset:/mnt/LTSDataset   -v /mnt/Share400T:/mnt/Share400T  -p 9999:22   ubuntu_lfl:latest 

安装miniconda

连接进入容器

可以使用ssh或者vscode或者xshell等

安装wget

复制代码
apt update && apt install wget -y

下载miniconda安装的运行脚本

复制代码
 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O miniconda.sh

运行脚本

复制代码
 bash miniconda.sh -b -p ~/miniconda3

环境变量生效

复制代码
source ~/.bashrc

用查看版本来验证是否安装成功

复制代码
conda --version

安装mineru

创建一个py10的conda环境

复制代码
conda create -n mineru python=3.10

进入环境

复制代码
conda activate mineru

安装相关的包

复制代码
pip install -U "magic-pdf[full]" --extra-index-url https://wheels.myhloli.com -i https://mirrors.aliyun.com/pypi/simple

安装modelscope,用来下载模型的(也可以自己下)

复制代码
pip install modelscope

下载使用modelscope包下载模型的python运行脚本

复制代码
wget https://gcore.jsdelivr.net/gh/opendatalab/MinerU@master/scripts/download_models.py -O download_models.py

运行python脚本(可以自己写)

复制代码
python download_models.py

验证安装

复制代码
 magic-pdf -v

CPU运行

上传了一个pdf文件

复制代码
magic-pdf -p /root/olb_ug-1.7r0.pdf -o /root/outputs -m auto

运行报错,缺少了一些图像处理的包

安装对应的包

复制代码
apt-get update && apt-get install -y libgl1 libglib2.0-0

成功启动

结果如下

运行时间

8:52-11:05 共 73分钟

GPU加速

将用户目录下的magic-pdf.json文件修改为 (原来是cpu)

"device-mode":"cuda"

运行时间为3分钟

GPU加速的效果确实很好

多卡问题

使用其官方镜像运行发现也不会多卡加速

所以对于多张卡的用户就授予不同的GPU权限,分开跑,比如我可以四个docker容器分别跑。

相关推荐
潮湿的心情12 分钟前
中宇联:以“智云融合+AI”赋能全栈云MSP服务,深化阿里云生态合作
人工智能·阿里云·云计算
云布道师13 分钟前
【云故事探索】NO.16:阿里云弹性计算加速精准学 AI 教育普惠落地
人工智能·阿里云·云计算
kevin 116 分钟前
AI文档比对和Word的“比较”功能有什么区别?
人工智能·word
1892280486139 分钟前
NX947NX955美光固态闪存NX962NX966
大数据·服务器·网络·人工智能·科技
2501_924878731 小时前
无人机光伏巡检缺陷检出率↑32%:陌讯多模态融合算法实战解析
开发语言·人工智能·算法·视觉检测·无人机
沉睡的无敌雄狮1 小时前
无人机光伏巡检漏检率↓78%!陌讯多模态融合算法实战解析
人工智能·算法·计算机视觉·目标跟踪
Shan12051 小时前
人工智能篇之计算机视觉
人工智能
真智AI1 小时前
打破数据质量瓶颈:用n8n实现30秒专业数据质量报告自动化
大数据·运维·人工智能·python·自动化
echola_mendes1 小时前
Dify案例2:基于Workflow的小红书笔记AI智能体以及AI绘图过程中遇到的问题
人工智能
攻城狮7号1 小时前
中科院开源HYPIR图像复原大模型:1.7秒,老照片变8K画质
人工智能·中科院·开源大模型·hypir图像复原大模型