MinerU学习

1、概述

MinerU 专注于高效解析和提取复杂的 PDF 文档、网页和电子书,并将其转换为易于分析的 Markdown 或

JSON 格式。由 上海人工智能实验室OpenDataLab 团队 开发。

主要功能包括:

• PDF 转 Markdown

支持多模态 PDF(含图片、表格、公式等)的结构化转换。

自动去除页眉、页脚、脚注等干扰信息,保留标题、段落、列表等结构。

公式识别并转换为 LaTeX 格式,表格转换为 HTML 或 Markdown。

• 网页内容提取:从网页中剔除广告等干扰信息,精准提取正文、评论、视频文字等内容。

• 电子书转换:支持 epub、mobi、docx、pptx、chm、azw 等格式批量转 Markdown。

• 多语言 OCR:自动检测扫描版 PDF 和乱码,支持 84 种语言 的 OCR 识别

2、使用

• 在线使用

https://mineru.net/OpenSourceTools/Extractor

• 客户端

https://mineru.net/client

• API

https://mineru.net/apiManage

• 本地化部署

2.1、在线使用

MinerU会把文档解析成markdown、json格式,如果文档中包含图片,默认用ocr解析文本

2.2、本地部署使用

mineru 1.0 minerU3.0变化很大,这里我弄了很长时间,一开始安装的1.3.x,手动下载模型,最后处理pdf时,总是报缺少模型,后来使用的3.x(当前最新)。具体区别如下(豆包查的):

|--------|---------------------------|--------------------------------|
| 对比维度 | MinerU 1.0 | MinerU 3.0 |
| 包名与命令行 | 包名:magic-pdf;命令:magic-pdf | 包名:mineru;命令:mineru,与1.0不兼容 |
| 架构模式 | 单一进程,单机小工具,无多卡/异步支持 | 三层微服务,支持分布式、多GPU负载均衡、异步任务 |
| 解析能力 | 仅支持PDF解析(文字、表格、公式) | 原生支持DOCX/PPTX/XLSX全格式,增强复杂版面解析 |
| 安装与依赖 | 依赖复杂,模型需手动下载 | 无闭源依赖,模型一键下载,pip一键安装 |
| 核心定位 | PDF解析小工具 | 企业级全格式文档解析引擎 |

1、安装minerU

pip install -U "mineruall" -i https://mirrors.aliyun.com/pypi/simple

2、下载需要的模型(pipeline可以理解为cpu可以跑的模型)

mineru-models-download -s modelscope -m pipeline

3、设置环境变量(默认走的huggingface),设置如下,会走国内镜像源

set MINERU_MODEL_SOURCE=modelscope

4、处理pdf(这个过程要几分钟时间)

mineru -p "三国演义.pdf" -o ouput -b pipeline

5、处理完成,minerU会生成对应的json、md文件

文件名 核心作用 适用场景
三国演义.md 最终结构化输出,Markdown 格式,包含文本、标题层级、表格 / 图片引用 直接阅读、后续 NLP / 大模型训练的文本素材
三国演义_content_list.json 按阅读顺序平铺的结构化内容列表,含类型(文本 / 表格 / 图片等)、页码、文本层级、位置信息 快速提取文本内容、做结构化二次开发
三国演义_content_list_v2.json content_list.json 的升级版本,补充了更完善的坐标与类型字段 新版 API 兼容、需要更精准位置信息的场景
三国演义_layout.pdf 布局分析可视化文件,用方框标注了识别到的内容块 检查布局识别是否准确、调试解析效果
三国演义_span.pdf 文本 Span 级别的可视化文件,标注了每个文本片段的识别结果 排查文本漏识别、字符级 OCR 问题
三国演义_middle.json 完整中间数据文件,包含所有模型推理结果、布局、坐标、文本等全部信息 深度二次开发、自定义后处理流程
三国演义_model.json 模型推理的原始结果,记录了每个内容块的模型识别信息 调试模型、分析识别错误、做质量评估
三国演义_origin.pdf 原始输入文件的副本 对比解析前后差异、溯源原始内容
三国演义_span.pdf 同上面的 Span 可视化文件(已说明) 文本级调试

如果担心把本地环境弄坏了,可以用conda搭建一个隔离环境,测试验证!!!!

相关推荐
武昌库里写JAVA6 小时前
SpringBoot+Vue 项目介绍
java·javascript·git·sql·ai
VIP_CQCRE6 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
七夜zippoe10 小时前
Agent 告警设计:分级告警、智能降噪与值班排班
开发语言·ai·agent·告警·智能降噪·值班排班
Z21-X13 小时前
云原生运维学习笔记:Kubernetes Volume 与 Secret 实验
运维·笔记·学习·云原生·kubernetes
wflynn15 小时前
AI 产品 ChatPRD 遭遇 token 欺诈,滥用者用免费试用构建游戏地图
ai·技术
console.log('npc')17 小时前
Python 学习教程 · 第4课:数据结构
数据结构·python·学习
星落梦生20 小时前
Docker学习(11)
学习·docker·容器
万里侯1 天前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s
澹锦汐1 天前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means