MinerU、Magic-PDF、Magic-Doc

文章目录


一、关于 MinerU

MinerU 是一款一站式、开源、高质量的数据提取工具,主要包含以下功能:



二、Magic-PDF


1、简介

Magic-PDF 是一款将 PDF 转化为 markdown 格式的工具。支持转换本地文档或者位于支持S3协议对象存储上的文件。

主要功能包含

  • 支持多种前端模型输入
  • 删除页眉、页脚、脚注、页码等元素
  • 符合人类阅读顺序的排版格式
  • 保留原文档的结构和格式,包括标题、段落、列表等
  • 提取图像和表格并在markdown中展示
  • 将公式转换成latex
  • 乱码PDF自动识别并转换
  • 支持cpu和gpu环境
  • 支持windows/linux/mac平台

使用示例


2、项目全景


3、流程图


4、子模块仓库


三、Magic-PDF 上手指南


1、配置要求

python >= 3.9

推荐使用虚拟环境,以避免可能发生的依赖冲突,venv和conda均可使用。

例如:

shell 复制代码
conda create -n MinerU python=3.10
conda activate MinerU

开发基于python 3.10,如果在其他版本python出现问题请切换至3.10。


2、安装配置


1. 安装Magic-PDF

使用pip安装完整功能包:

受pypi限制,pip安装的完整功能包仅支持cpu推理,建议只用于快速测试解析能力。

如需在生产环境使用CUDA/MPS加速请参考使用CUDA或MPS加速推理

shell 复制代码
pip install magic-pdf[full-cpu]

❗️已收到多起由于镜像源和依赖冲突问题导致安装了错误版本软件包的反馈,请务必安装完成后通过以下命令验证版本是否正确

复制代码
magic-pdf --version

如版本低于0.6.x,请提交issue进行反馈。


完整功能包依赖detectron2,该库需要编译安装,如需自行编译,请参考 facebookresearch/detectron2#5114

或是直接使用我们预编译的whl包(仅限python 3.10):

shell 复制代码
pip install detectron2 --extra-index-url https://myhloli.github.io/wheels/

2. 下载模型权重文件

详细参考 如何下载模型文件

下载后请将models目录移动到空间较大的ssd磁盘目录


3. 拷贝配置文件并进行配置

在仓库根目录可以获得 magic-pdf.template.json 文件

shell 复制代码
cp magic-pdf.template.json ~/magic-pdf.json

在magic-pdf.json中配置"models-dir"为模型权重文件所在目录

json 复制代码
{
  "models-dir": "/tmp/models"
}

4. 使用CUDA或MPS加速推理

如您有可用的Nvidia显卡或在使用Apple Silicon的Mac,可以使用CUDA或MPS进行加速


CUDA

需要根据自己的CUDA版本安装对应的pytorch版本

以下是对应CUDA 11.8版本的安装命令,更多信息请参考 https://pytorch.org/get-started/locally/

shell 复制代码
pip install --force-reinstall torch==2.3.1 torchvision==0.18.1 --index-url https://download.pytorch.org/whl/cu118

同时需要修改配置文件magic-pdf.json中"device-mode"的值

shell 复制代码
{
  "device-mode":"cuda"
}

MPS

使用macOS(M系列芯片设备)可以使用MPS进行推理加速

需要修改配置文件magic-pdf.json中"device-mode"的值

shell 复制代码
{
  "device-mode":"mps"
}

3、使用说明


1) 通过命令行使用

直接使用
shell 复制代码
magic-pdf pdf-command --pdf "pdf_path" --inside_model true

程序运行完成后,你可以在 /tmp/magic-pdf 目录下看到生成的markdown文件,markdown目录中可以找到对应的 xxx_model.json 文件

如果您有意对后处理pipeline进行二次开发,可以使用命令

shell 复制代码
magic-pdf pdf-command --pdf "pdf_path" --model "model_json_path"

这样就不需要重跑模型数据,调试起来更方便


更多用法
shell 复制代码
magic-pdf --help

2) 通过接口调用

本地使用
python 复制代码
image_writer = DiskReaderWriter(local_image_dir)
image_dir = str(os.path.basename(local_image_dir))
jso_useful_key = {"_pdf_type": "", "model_list": model_json}
pipe = UNIPipe(pdf_bytes, jso_useful_key, image_writer)
pipe.pipe_classify()
pipe.pipe_parse()
md_content = pipe.pipe_mk_markdown(image_dir, drop_mode="none")

在对象存储上使用
python 复制代码
s3pdf_cli = S3ReaderWriter(pdf_ak, pdf_sk, pdf_endpoint)
image_dir = "s3://img_bucket/"
s3image_cli = S3ReaderWriter(img_ak, img_sk, img_endpoint, parent_path=image_dir)
pdf_bytes = s3pdf_cli.read(s3_pdf_path, mode=s3pdf_cli.MODE_BIN)
jso_useful_key = {"_pdf_type": "", "model_list": model_json}
pipe = UNIPipe(pdf_bytes, jso_useful_key, s3image_cli)
pipe.pipe_classify()
pipe.pipe_parse()
md_content = pipe.pipe_mk_markdown(image_dir, drop_mode="none")

详细实现可参考 demo.py


4、常见问题处理解答

参考 FAQ


四、Magic-Doc

1、简介

Magic-Doc 是一个轻量级、开源的用于将多种格式的文档(PPT/PPTX/DOC/DOCX/PDF)转化为 markdown 格式的工具。支持转换本地文档或者位于 AWS S3 上的文件

主要功能包含

  • Web网页提取
    • 跨模态精准解析图文、表格、公式信息
  • 电子书文献提取
    • 支持 epub,mobi等多格式文献,文本图片全适配
  • 语言类型鉴定
    • 支持176种语言的准确识别


2、安装

前置依赖: python3.10

安装依赖

linux/osx

shell 复制代码
apt-get/yum/brew install libreoffice

windows

shell 复制代码
安装 libreoffice 
添加 "install_dir\LibreOffice\program" to 环境变量 PATH

安装 Magic-Doc

shell 复制代码
pip install fairy-doc[cpu] # 安装 cpu 版本 
或 
pip install fairy-doc[gpu] # 安装 gpu 版本

3、使用示例

python 复制代码
# for local file
from magic_doc.docconv import DocConverter, S3Config
converter = DocConverter(s3_config=None)
markdown_content, time_cost = converter.convert("some_doc.pptx", conv_timeout=300)
python 复制代码
# for remote file located in aws s3
from magic_doc.docconv import DocConverter, S3Config

s3_config = S3Config(ak='${ak}', sk='${sk}', endpoint='${endpoint}')
converter = DocConverter(s3_config=s3_config)
markdown_content, time_cost = converter.convert("s3://some_bucket/some_doc.pptx", conv_timeout=300)

4、性能

环境:AMD EPYC 7742 64-Core Processor, NVIDIA A100, Centos 7

文件类型 转化速度
PDF (digital) 347 (page/s)
PDF (ocr) 2.7 (page/s)
PPT 20 (page/s)
PPTX 149 (page/s)
DOC 600 (page/s)
DOCX 1482 (page/s)

2024-07-21(日)

相关推荐
Damon小智1 小时前
仓颉 Markdown 解析库在 HarmonyOS 应用中的实践
华为·typescript·harmonyos·markdown·三方库
CHANG_THE_WORLD19 小时前
PDFium导出pdf 图像
开发语言·c++·pdf
momo_al19 小时前
Umi-OCR制作双层PDF
pdf·ocr
励志成为美貌才华为一体的女子19 小时前
pdf解析工具---Miner-u 本地部署记录
学习·pdf
reasonsummer19 小时前
【办公类-115-02】20251018信息员每周通讯上传之文字稿整理(PDF转docx没有成功)
python·pdf
top_designer1 天前
告别“静态”VI手册:InDesign与AE打造可交互的动态品牌规范
设计模式·pdf·交互·vi·工作流·after effects·indesign
Source.Liu1 天前
【BuildFlow & 筑流】品牌命名与项目定位说明
c++·qt·rust·markdown·librecad
2501_929382652 天前
MobiOffice解锁高级功能版 v15.9.57971 安卓手机doc, docx ppt, .pptx pdf办公软件
智能手机·pdf·powerpoint·wps
CodeCraft Studio2 天前
国产化PDF处理控件Spire.PDF教程:如何在 C# 中从 HTML 和 PDF 模板生成 PDF
pdf·c#·html·.net·spire.pdf·pdf文档开发·html创建模板pdf
E_ICEBLUE2 天前
高效压缩 PDF 文件大小(3 大实用的 Python 库)
python·pdf