Docling将pdf转markdown以及与AI生态集成

Docling 简化了文档处理,解析各种格式(包括高级 PDF 理解),并提供与 gen AI 生态系统的无缝集成。

特征

  • 解析多种文档格式 ,包括 PDF、DOCX、PPTX、XLSX、HTML、WAV、MP3、图像(PNG、TIFF、JPEG 等)等;
  • 高级 PDF 理解,包括页面布局、阅读顺序、表格结构、代码、公式、图像分类等;
  • 统一、富有表现力的 DoclingDocument 表示格式;
  • 各种导出格式和选项,包括 Markdown、HTML、 DocTags 和无损 JSON;
  • 敏感数据和隔离环境的本地执行能力;
  • 即插即用集成, 包括 LangChain、LlamaIndex、Crew AI 和用于代理 AI 的 Haystack;
  • 对扫描的 PDF 和图像提供广泛的 OCR 支持;
  • 支持多种可视化语言模型;
  • 支持自动语音识别 (ASR) 模型的音频;
  • 简单便捷的 CLI。

一、简单Demo

安装包

bash 复制代码
pip install docling

官方提供的demo代码,

python 复制代码
from docling.document_converter import DocumentConverter

source = "https://arxiv.org/pdf/2206.01062"  # document per local path or URL

converter = DocumentConverter()
result = converter.convert(source)
print(result.document.export_to_markdown())  # output: "## Docling Technical Report[...]"

几行代码就可以将pdf文档转成markdown格式的文档,表格也转换的很成功。

注意:

1、若未科学上网,代码执行可能会失败;因为代码中会自动下载docling运行所依赖的模型以及默认的easyocr的模型文件;下载好的文件会放$HOME/.cache/docling/models 目录。

2、一般我们都会事先从huggface或modelscope下载好模型文件,下载如下文件,放同一个目录下。

二、pdf转markdown,图片本地存储

指定本地模型文件,图片保存到本地。

python 复制代码
import pathlib
import logging
import time
from docling.datamodel.base_models import InputFormat
from docling.datamodel.pipeline_options import PdfPipelineOptions, EasyOcrOptions
from docling.document_converter import PdfFormatOption, DocumentConverter, ImageFormatOption, PowerpointFormatOption, \
    WordFormatOption, ExcelFormatOption, HTMLFormatOption
from docling_core.types.doc import ImageRefMode, PictureItem, TableItem


# # 指定模型路径
# easyocr_model_storage_directory = r"D:\Test\LLMTrain\DoclingTest\models_file\easyocr\Ceceliachenen\easyocr"  # 使用绝对路径
# # 指定OCR模型
# easyocr_options = EasyOcrOptions()
# # 可以不设置,默认语言:["fr", "de", "es", "en"]
# easyocr_options.lang = ['ch_sim', 'en']  # 中英文
# easyocr_options.model_storage_directory = easyocr_model_storage_directory

artifacts_path = r"C:\Users\muxue\.cache\docling\models"  # 使用绝对路径
pipeline_options = PdfPipelineOptions(artifacts_path=artifacts_path)
# 设置支持OCR
pipeline_options.do_ocr = True
# 设置支持表结构
pipeline_options.do_table_structure = True

IMAGE_RESOLUTION_SCALE = 2.0
pipeline_options.images_scale = IMAGE_RESOLUTION_SCALE
#pipeline_options.generate_page_images = True
#生成图片,必须要改配置为True
pipeline_options.generate_picture_images = True

# 指定OCR模型
#pipeline_options.ocr_options = easyocr_options

doc_converter  = DocumentConverter(
    format_options={
        InputFormat.PDF: PdfFormatOption(pipeline_options=pipeline_options),
        InputFormat.IMAGE: ImageFormatOption(pipeline_options=pipeline_options),
        InputFormat.PPTX: PowerpointFormatOption(pipeline_options=pipeline_options),
        InputFormat.DOCX: WordFormatOption(pipeline_options=pipeline_options),
        InputFormat.XLSX: ExcelFormatOption(pipeline_options=pipeline_options),
        InputFormat.HTML: HTMLFormatOption(pipeline_options=pipeline_options)
    }
)

input_doc_path = r"D:\Test\test.pdf"
start_time = time.time()

conv_res = doc_converter.convert(input_doc_path)
output_dir = pathlib.Path("scratch")
output_dir.mkdir(parents=True, exist_ok=True)
doc_filename = conv_res.input.file.stem


# Save markdown with externally referenced pictures
md_filename = output_dir / f"{doc_filename}-with-image-refs.md"
conv_res.document.save_as_markdown(md_filename, image_mode=ImageRefMode.REFERENCED)


end_time = time.time() - start_time
print(f"Time taken: {end_time} seconds")

三、批量pdf转markdown

将多个pdf批量装成 markdown是常见操作。我们来实现一下吧。

复制代码
import logging
import time
from collections.abc import Iterable
from pathlib import Path
import yaml
from docling_core.types.doc import ImageRefMode
from docling.datamodel.base_models import ConversionStatus, InputFormat
from docling.datamodel.document import ConversionResult
from docling.datamodel.pipeline_options import PdfPipelineOptions
from docling.document_converter import DocumentConverter, PdfFormatOption

def export2md(conv_results: Iterable[ConversionResult], output_dir: Path):
    output_dir.mkdir(parents=True, exist_ok=True)
    success_count = 0

    for conv_res in conv_results:
        if conv_res.status == ConversionStatus.SUCCESS:
            success_count += 1
            doc_filename = conv_res.input.file.stem
            conv_res.document.save_as_markdown(
                output_dir / f"{doc_filename}.md",
                image_mode=ImageRefMode.REFERENCED,
            )
            logging.info(f"Converted {doc_filename} to Markdown successfully.")


def main():
    artifacts_path = r"D:\muxue\model_file\docling_all"  # 模型文件使用绝对路径
    pipeline_options = PdfPipelineOptions(artifacts_path=artifacts_path)
    # 设置支持OCR
    pipeline_options.do_ocr = True
    # 设置支持表结构
    pipeline_options.do_table_structure = True

    IMAGE_RESOLUTION_SCALE = 2.0
    pipeline_options.images_scale = IMAGE_RESOLUTION_SCALE
    #pipeline_options.generate_page_images = True
    #生成图片,必须要改配置为True
    pipeline_options.generate_picture_images = True

    doc_converter  = DocumentConverter(
        format_options={
            InputFormat.PDF: PdfFormatOption(pipeline_options=pipeline_options)
        }
    )

    data_folder = Path(r"D:\muxue\orginal_file")
    input_doc_paths = [
        data_folder / "test.pdf",
        data_folder / "2206.01062v1.pdf",
    ]


    start_time = time.time()
    conv_results = doc_converter.convert_all(
        input_doc_paths,
        raises_on_error=False,  # to let conversion run through all and examine results at the end
    )
    export2md(conv_results, Path("scratch"))

    end_time = time.time() - start_time
    print(f"Time taken: {end_time} seconds")

if __name__ == '__main__':
    logging.basicConfig(level=logging.INFO)
    main()

四、PDF无损转Json

复制代码
import pathlib
import logging
import time
from docling.datamodel.base_models import InputFormat
from docling.datamodel.pipeline_options import PdfPipelineOptions, EasyOcrOptions
from docling.document_converter import PdfFormatOption, DocumentConverter, ImageFormatOption, PowerpointFormatOption, \
    WordFormatOption, ExcelFormatOption, HTMLFormatOption
from docling_core.types.doc import ImageRefMode, PictureItem, TableItem


artifacts_path = r"D:\muxue\model_file\docling_all"  # 使用绝对路径
pipeline_options = PdfPipelineOptions(artifacts_path=artifacts_path)
# 设置支持OCR
pipeline_options.do_ocr = True
# 设置支持表结构
pipeline_options.do_table_structure = True

IMAGE_RESOLUTION_SCALE = 2.0
pipeline_options.images_scale = IMAGE_RESOLUTION_SCALE
#pipeline_options.generate_page_images = True
#生成图片,必须要改配置为True
pipeline_options.generate_picture_images = True

# 指定OCR模型
#pipeline_options.ocr_options = easyocr_options

doc_converter  = DocumentConverter(
    format_options={
        InputFormat.PDF: PdfFormatOption(pipeline_options=pipeline_options),
        InputFormat.IMAGE: ImageFormatOption(pipeline_options=pipeline_options),
        InputFormat.PPTX: PowerpointFormatOption(pipeline_options=pipeline_options),
        InputFormat.DOCX: WordFormatOption(pipeline_options=pipeline_options),
        InputFormat.XLSX: ExcelFormatOption(pipeline_options=pipeline_options),
        InputFormat.HTML: HTMLFormatOption(pipeline_options=pipeline_options)
    }
)

input_doc_path = r"D:\muxue\test.pdf"
start_time = time.time()

conv_res = doc_converter.convert(input_doc_path)
output_dir = pathlib.Path("scratch")
output_dir.mkdir(parents=True, exist_ok=True)
doc_filename = conv_res.input.file.stem


# Save markdown with externally referenced pictures
md_filename = output_dir / f"{doc_filename}.json"
conv_res.document.save_as_json(md_filename, image_mode=ImageRefMode.REFERENCED)


end_time = time.time() - start_time
print(f"Time taken: {end_time} seconds")
  • "无损 JSON" 在 Docling 中意味着:将文档的内在数据结构与详细元信息完整转到 JSON,并保证可以从 JSON 完整还原为同一个文档模型。

  • Markdown/HTML 导出是"有损" 的,因为这些格式省略了很多底层结构与元数据,只是适合人类阅读和简单内容展示。

五、Docling与第3方平台集成

Docling 与众多领先框架和工具的集成,比如LangChain、LlamaIndex和Crew AI等。

在LlamaIndex中,可以直接使用Docling作为阅读器,和DoclingNodeParser 可将DoclingReader 生成的 JSON/MarkDown 格式文档解析为 LlamaIndex 的节点。

python 复制代码
from llama_index.readers.docling import DoclingReader
from llama_index.node_parser.docling import DoclingNodeParser
from llama_index.core import VectorStoreIndex
reader = DoclingReader(export_type=DoclingReader.ExportType.JSON)
node_parser = DoclingNodeParser()
documents = reader.load_data("your_file.pdf")
index = VectorStoreIndex.from_documents(
    documents=documents,
    transformations=[node_parser],
    embed_model=EMBED_MODEL,
)

参考网址

github地址:https://github.com/docling-project/docling

官方文档:https://docling-project.github.io/docling/

安装和使用docling-CSDN博客

Docling本地部署-CSDN博客

LlamaIndex相关文档:https://docs.llamaindex.ai/en/stable/examples/data_connectors/DoclingReaderDemo/

https://docs.llamaindex.ai/en/stable/api_reference/node_parser/docling/

相关推荐
kevin 12 小时前
扫描件、PDF、图片都能比对!让文档差异无所遁形
大数据·人工智能·pdf
algonaut2 小时前
adobe acrobat 安装到使用再到PDF编辑【适合小白,只看一篇就够!!!】
java·开发语言·其他·pdf
算家云3 小时前
腾讯最新开源HunyuanVideo-Foley本地部署教程:端到端TV2A框架,REPA策略+MMDiT架构,重新定义视频音效新SOTA!
人工智能·音视频·算家云·hunyuanvideo·模型部署教程·镜像社区
小王爱学人工智能3 小时前
迁移学习的案例
人工智能·机器学习·迁移学习
源雀数智3 小时前
源雀SCRM开源:企微文件防泄密
java·人工智能·企业微信·流量运营
Honeysea_703 小时前
容器的定义及工作原理
人工智能·深度学习·机器学习·docker·ai·持续部署
fantasy_arch3 小时前
SVT-AV1 svt_aom_motion_estimation_kernel 函数分析
人工智能·算法·av1
Acrel136119655143 小时前
别让电能质量问题拖后腿:工业场景中电能治理的战略意义
大数据·人工智能·能源·创业创新
長琹3 小时前
AES加密算法详细加密步骤代码实现--身份证号码加解密系统
网络·数据库·人工智能·python·密码学