MinerU Docker自定义版本部署

文档解析利器-MinerU安装使用

MinerU是一款将PDF转化为机器可读格式的工具(如markdown、json),可以很方便地抽取为任意格式。

  • 删除页眉、页脚、脚注、页码等元素,确保语义连贯
  • 输出符合人类阅读顺序的文本,适用于单栏、多栏及复杂排版
  • 保留原文档的结构,包括标题、段落、列表等
  • 提取图像、图片描述、表格、表格标题及脚注
  • 自动识别并转换文档中的公式为LaTeX格式
  • 自动识别并转换文档中的表格为HTML格式
  • 自动检测扫描版PDF和乱码PDF,并启用OCR功能
  • OCR支持84种语言的检测与识别
  • 支持多种输出格式,如多模态与NLP的Markdown、按阅读顺序排序的JSON、含有丰富信息的中间格式等
    -支持多种可视化结果,包括layout可视化、span可视化等,便于高效确认输出效果与质检
    -支持纯CPU环境运行,并支持 GPU(CUDA)/NPU(CANN)/MPS 加速
    -兼容Windows、Linux和Mac平台

官方开源地址
在线客户端地址

安装文档可以参考官方开源地址的README文件,上边有详细的安装教程。

本文介绍如何使用官方指定的vllm容器自定义安装。

一、Docker环境构建

参考MinerUDocker安装文档查阅符合自身GPU的镜像版本:

Mineru-2.5版本开始使用vllm:v0.10.1.1镜像。2.5版本在50系显卡存在多个issue提及无法使用vllm推理,只能使用pipline。最新的2.6版本实测5090可以很好的运行。

1.获取vllm镜像,推荐使用国内镜像源:

bash 复制代码
docker pull  docker.1ms.run/vllm/vllm-openai:v0.10.1.1

2.创建容器,需要覆盖vllm容器的入口:

bash 复制代码
docker run -itd \
  --name dev \
  --gpus all \
  --ipc host \
  -p 8000:8000 \ 
  --entrypoint "/bin/bash" \
  容器ID or 容器标签 \  
  -c "tail -f /dev/null"
  1. 进入容器内部:
bash 复制代码
docker exec -it dev(新创建的容器名or容器ID) /bin/bash
  1. 安装依赖:
shell 复制代码
# 依次执行
apt-get update   
apt-get install -y fonts-noto-core fonts-noto-cjk fontconfig libgl1  
apt-get install unzip # 如果服务器能够访问github,则可以不安装unzip
fc-cache -fv
apt-get clean
rm -rf /var/lib/apt/lists/*

按照顺序执行以上步骤,mineru的容器环境依赖就算是安装完成。

二、Mineru源码安装

1. 获取源码:

bash 复制代码
git clone https://github.com/opendatalab/MinerU.git --branch mineru-x.x.x-released --depth 1

branch分支版本可以在github查阅具体需要安装的版本。例如2.6.2版本:
git clone https://github.com/opendatalab/MinerU.git --branch mineru-2.6.2-released --depth 1

如果容器无法访问github,可以手动到指定版本源码仓库下载zip包,通过 docker cp 上传到容器中使用unzip解压。

结果如图:

2. 通过源码安装MinerU

  1. 安装mineru依赖模块
bash 复制代码
首先进入源码目录  cd MinerU-mineru-2.6.2-released  
执行安装命令 pip install -e .[all] -i https://pypi.tuna.tsinghua.edu.cn/simple
  1. 下载Mineru模型
bash 复制代码
mineru-models-download -s modelscope -m all

到此,mineru就已经安装成功!

值得注意的是,mineru默认使用的模型源为huggingface,国内需要切换到modelscope。

因此,国内用户可以将 export MINERU_MODEL_SOURCE=modelscope 写入 ~/.bashrc文件或任意linux启动时会扫描的环境变量文件中。

三、Mineru启动!!

mineru提供了三种启动方式,mineru-gradio | mineru-api | vllm-server 。

需要一个简洁GUI界面的使用 mineru-gradio,需要使用fast api 服务的使用 mineru-api ,使用vllm-client连接的使用 vllm-server

具体使用参考: MinerU Quick Start

例如: mineru-gradio --server-name 0.0.0.0 --server-port 7860 即可在本地启动一个GUI服务。

如果需要修改api接口以兼容本地应用服务的,可以修改源码 cli目录下的 fast_api.py 和 gradio_app.py文件


相关推荐
云飞云共享云桌面9 分钟前
设计师共享单台图形服务器,解决 SolidWorks大装配卡顿难题
运维·服务器·3d·自动化·电脑·制造
张张123y25 分钟前
后端第九课:部署上线(把你的 FastAPI 后端真正跑起来给别人用)
python·docker·部署·fastapi
无足鸟ICT27 分钟前
【RHCA+】RPM包命名规则
linux·运维·服务器
迪康Defender1 小时前
终端安全运维:浅谈迪康端点安全一体化管理系统工具箱实用能力
运维·安全·信息可视化·自动化·运维开发·学习方法·远程工作
广东帝工智能安防1 小时前
航道数智化升级实战:基于“云-网-数-智“架构的信息化基础设施建设方案
大数据·运维·人工智能
爱吃香菜的初学者1 小时前
十六.Linux——多线程(2)
linux·运维·开发语言
海森大数据1 小时前
AI + 自动化重塑催化研发!北化黑灯实验室入选 AI for Science 典型案例
运维·人工智能·自动化
暖核2 小时前
kubeadm 集群运维:Worker 节点下线删除、整套集群销毁重建指南
运维·开发语言·php
荒--2 小时前
Ubuntu软件包查询,弹框下载文件
运维·服务器·ubuntu
‎ദ്ദിᵔ.˛.ᵔ₎3 小时前
Linux:对有关 SIGCHLD 的深层理解
linux·运维·服务器