PDF解析神器——MinerU本地部署教程,一键去除页眉页脚,精准提取公式表格,支持84种语言,让文档转换更简单!

一、介绍

MinerU 是由上海人工智能实验室(OpenDataLab)团队开发的一款开源智能文档解析工具,专注于将复杂的PDF文档、网页和电子书内容,高效、精准地提取并转换为机器可读的结构化格式(如Markdown、JSON等),可以很方便地抽取为任意格式。

主要功能

  • 删除页眉、页脚、脚注、页码等元素,确保语义连贯
  • 输出符合人类阅读顺序的文本,适用于单栏、多栏及复杂排版
  • 保留原文档的结构,包括标题、段落、列表等
  • 提取图像、图片描述、表格、表格标题及脚注
  • 自动识别并转换文档中的公式为 LaTeX 格式
  • 自动识别并转换文档中的表格为 HTML 格式
  • 自动检测扫描版 PDF 和乱码 PDF,并启用 OCR 功能
  • OCR 支持 84 种语言的检测与识别
  • 支持多种输出格式,如多模态与 NLP 的 Markdown、按阅读顺序排序的 JSON、含有丰富信息的中间格式等
  • 支持多种可视化结果,包括 layout 可视化、span 可视化等,便于高效确认输出效果与质检
  • 支持纯 CPU 环境运行,并支持 GPU(CUDA)/NPU(CANN)/MPS 加速
  • 兼容 Windows、Linux 和 Mac 平台

二、部署

1、基础环境

  • Miniconda3
  • Ubuntu:22.04
  • cuda12.4.1
  • 4090D

2、安装 MinerU

通过源码安装MinerU,首先创建虚拟环境,然后安装UV,克隆MinerU的源码,最后UV来安装

bash 复制代码
conda create -n mineru python=3.12 -y
conda activate mineru
pip install uv -i https://mirrors.aliyun.com/pypi/simple
git clone https://github.com/opendatalab/MinerU.git
cd MinerU
uv pip install -e .[all] -i https://mirrors.aliyun.com/pypi/simple

3、模型下载

MinerU默认使用huggingface作为模型源,若用户网络无法访问huggingface,可以通过环境变量便捷地切换模型源为modelscope;

ini 复制代码
export MINERU_MODEL_SOURCE=modelscope

使用命令下载模型到本地,查看命令使用情况。下载好的模型目录通过 mineru.json 来调用,ineru.json 文件会在您使用内置模型下载命令 mineru-models-download 时自动生成,生成在用户目录,当前使用root用户,生成位置为 /root/mineru.json。

bash 复制代码
mineru-models-download --help
mineru-models-download

默认模型下载位置,若需要修改模型位置,可以移动模型到其它位置,然后修改 mineru.json文件。

4、推理框架

  • pipeline:代码中集成,不需要启动后端

  • vlm-transformers:代码中集成,不需要启动后端

  • vlm-sglang(推荐):需要启动后端,速度快

    css 复制代码
    mineru-sglang-server --port 30000 --model-path /root/.cache/modelscope/hub/models/OpenDataLab/MinerU2___0-2505-0___9B --max-running-requests 64 --mem-fraction-static 0.75 --weight-loader-disable-mmap

5、使用

通过fast api 方式调用。

css 复制代码
mineru-api --host 0.0.0.0 --port 8080

通过访问 /docs 可以查看调用方式。

(推荐)使用gradio webui。

css 复制代码
mineru-gradio --server-name 0.0.0.0 --server-port 8080
  • 在浏览器中访问 http://127.0.0.1:8080 使用 Gradio WebUI。

  • 访问 http://127.0.0.1:8080/?view=api 使用 Gradio API。

  • 已修改默认使用 sglang环境

5、配置文件扩展 MinerU 功能

通过编辑用户目录下的 mineru.json 文件,添加自定义配置。

  • latex-delimiter-config:用于配置 LaTeX 公式的分隔符,默认为 $ 符号,可根据需要修改为其他符号或字符串。
  • llm-aided-config:用于配置 LLM 辅助标题分级的相关参数,兼容所有支持 openai协议 的 LLM 模型,默认使用 阿里云百炼 的 qwen2.5-32b-instruct 模型,您需要自行配置 API 密钥并将 enable 设置为 true 来启用此功能。
  • models-dir:用于指定本地模型存储目录,请为 pipeline 和 vlm 后端分别指定模型目录,指定目录后您可通过配置环境变量 export MINERU_MODEL_SOURCE=local 来使用本地模型。
相关推荐
码云之上31 分钟前
把网页变成可引用知识——Chatbot 联网工具
人工智能·架构·agent
独孤九剑打醒他32 分钟前
【原创开源】【概念设计】源 - 栅 - 漏 - 栅 - 源 横向双栅 MOS,低压交流多值逻辑芯片探索
前端·其他·架构·开源·硬件工程
一木 之林38 分钟前
提示词工程学习总结:用 Few-shot 把大模型调教成金融文本分类、抽取与匹配的自动化流水线
人工智能·学习·计算机视觉·金融·分类
付威20231 小时前
【pi-rust源码拆解】Agent 源码看不懂?先跟着一条消息走一遍--万字长文
人工智能
老马识码1 小时前
复杂架构的取舍:Agentic RAG、LLM Wiki 与 Multi-Agent
人工智能
Maynor9961 小时前
让 AI 编程助手学会做视频、做 PPT:Agent Skills 入门与安装全指南
人工智能·aigc·ai编程·效率工具·cursor·claude code
miofly1 小时前
ChatGPT 账号用户可免费使用 Auto-review 双智能体审查功能
开源·github
C++ 老炮儿的技术栈1 小时前
sizeof操作符
c语言·c++·人工智能·mfc·c
mantou1321 小时前
我做了个 App:在手机上指挥电脑里的 Claude Code / Codex,还能直接看它产出的图表和模拟器画面
开源·ai编程·claude
柯南46681 小时前
【AI工程师精讲】KV Cache 精讲:为什么 AI 越聊越慢,以及长上下文真正的成本在哪
人工智能·ai编程