MinerU Docker自定义版本部署

文档解析利器-MinerU安装使用

MinerU是一款将PDF转化为机器可读格式的工具(如markdown、json),可以很方便地抽取为任意格式。

  • 删除页眉、页脚、脚注、页码等元素,确保语义连贯
  • 输出符合人类阅读顺序的文本,适用于单栏、多栏及复杂排版
  • 保留原文档的结构,包括标题、段落、列表等
  • 提取图像、图片描述、表格、表格标题及脚注
  • 自动识别并转换文档中的公式为LaTeX格式
  • 自动识别并转换文档中的表格为HTML格式
  • 自动检测扫描版PDF和乱码PDF,并启用OCR功能
  • OCR支持84种语言的检测与识别
  • 支持多种输出格式,如多模态与NLP的Markdown、按阅读顺序排序的JSON、含有丰富信息的中间格式等
    -支持多种可视化结果,包括layout可视化、span可视化等,便于高效确认输出效果与质检
    -支持纯CPU环境运行,并支持 GPU(CUDA)/NPU(CANN)/MPS 加速
    -兼容Windows、Linux和Mac平台

官方开源地址
在线客户端地址

安装文档可以参考官方开源地址的README文件,上边有详细的安装教程。

本文介绍如何使用官方指定的vllm容器自定义安装。

一、Docker环境构建

参考MinerUDocker安装文档查阅符合自身GPU的镜像版本:

Mineru-2.5版本开始使用vllm:v0.10.1.1镜像。2.5版本在50系显卡存在多个issue提及无法使用vllm推理,只能使用pipline。最新的2.6版本实测5090可以很好的运行。

1.获取vllm镜像,推荐使用国内镜像源:

bash 复制代码
docker pull  docker.1ms.run/vllm/vllm-openai:v0.10.1.1

2.创建容器,需要覆盖vllm容器的入口:

bash 复制代码
docker run -itd \
  --name dev \
  --gpus all \
  --ipc host \
  -p 8000:8000 \ 
  --entrypoint "/bin/bash" \
  容器ID or 容器标签 \  
  -c "tail -f /dev/null"
  1. 进入容器内部:
bash 复制代码
docker exec -it dev(新创建的容器名or容器ID) /bin/bash
  1. 安装依赖:
shell 复制代码
# 依次执行
apt-get update   
apt-get install -y fonts-noto-core fonts-noto-cjk fontconfig libgl1  
apt-get install unzip # 如果服务器能够访问github,则可以不安装unzip
fc-cache -fv
apt-get clean
rm -rf /var/lib/apt/lists/*

按照顺序执行以上步骤,mineru的容器环境依赖就算是安装完成。

二、Mineru源码安装

1. 获取源码:

bash 复制代码
git clone https://github.com/opendatalab/MinerU.git --branch mineru-x.x.x-released --depth 1

branch分支版本可以在github查阅具体需要安装的版本。例如2.6.2版本:
git clone https://github.com/opendatalab/MinerU.git --branch mineru-2.6.2-released --depth 1

如果容器无法访问github,可以手动到指定版本源码仓库下载zip包,通过 docker cp 上传到容器中使用unzip解压。

结果如图:

2. 通过源码安装MinerU

  1. 安装mineru依赖模块
bash 复制代码
首先进入源码目录  cd MinerU-mineru-2.6.2-released  
执行安装命令 pip install -e .[all] -i https://pypi.tuna.tsinghua.edu.cn/simple
  1. 下载Mineru模型
bash 复制代码
mineru-models-download -s modelscope -m all

到此,mineru就已经安装成功!

值得注意的是,mineru默认使用的模型源为huggingface,国内需要切换到modelscope。

因此,国内用户可以将 export MINERU_MODEL_SOURCE=modelscope 写入 ~/.bashrc文件或任意linux启动时会扫描的环境变量文件中。

三、Mineru启动!!

mineru提供了三种启动方式,mineru-gradio | mineru-api | vllm-server 。

需要一个简洁GUI界面的使用 mineru-gradio,需要使用fast api 服务的使用 mineru-api ,使用vllm-client连接的使用 vllm-server

具体使用参考: MinerU Quick Start

例如: mineru-gradio --server-name 0.0.0.0 --server-port 7860 即可在本地启动一个GUI服务。

如果需要修改api接口以兼容本地应用服务的,可以修改源码 cli目录下的 fast_api.py 和 gradio_app.py文件


相关推荐
Brilliantwxx7 小时前
【Linux】 进程(9)程序与进程地址空间(基础+进阶+面试题)
linux·运维·服务器·开发语言·c++
BullSmall7 小时前
第三方软件安全-Dependency‑Track Docker 部署
安全·docker·容器
richdata8 小时前
商品数字化不是先做大数据,而是先把数据变成可用决策
大数据·运维·数据治理·商品数字化·智能补货·ai商品决策
harmony&8 小时前
Docker 容器技术从入门到实战:容器、网络、存储与监控全解析
docker·云原生
weixin_416667968 小时前
【无标题】
运维·服务器·网络
一池秋_9 小时前
arm低配linux设备,桌面应用冷启动提速方法
linux·运维·arm开发
上海云盾-小余11 小时前
流量攻击复盘:为什么 WAF 完好,业务依旧瘫痪
运维·服务器·网络
IT大白鼠11 小时前
Docker 私有仓库管理:Harbor 企业级仓库搭建与镜像全生命周期管理
运维·docker·容器
戴西软件11 小时前
戴西iDWS.3DViz Suite数据轻量化可视化软件,从传统桌面软件向云端协同的重大突破
大数据·运维·网络·人工智能·机器学习·3d
我命由我1234512 小时前
Linux - Linux/POSIX 路径斜杠折叠规则
linux·运维·服务器·android studio·android jetpack·android-studio·android runtime