为什么越来越多人用 Docling ? - 苏三说技术

前言

不知道你有没有遇到过这种情况:花了大半天把一份 PDF 喂给 RAG 系统,结果检索出来的片段全是断句的表格、错位的标题,大模型拿着这些碎片化的内容,一本正经地给你编答案。

你以为是 Embedding 模型不行,换了;

以为是切片大小不对,调了;

以为是向量库检索策略有问题,也改了。

折腾一圈下来,效果还是那个鬼样子。

问题不在检索层,在更前面。

你喂进去的"原料",从 PDF 变成文本的那一刻,结构就已经丢了。

而 Docling,就是专门来解决这件事的。

IBM 研究院出品,2025 年 3 月捐给 Linux 基金会,2026 年 8 月成为 LF AI & Data 基金会的 Graduated 项目。

GitHub 星标超过 7 万,社区贡献者里超过 68% 的 PR 来自核心团队之外。

今天这篇文章就专门跟大家一起聊聊Docling,希望对你会有所帮助。

更多项目实战在Java突击队网:susan.net.cn/project

一、Docling 在解决什么问题?

有些小伙伴可能会说:"PDF 解析工具不是很多吗?PyMuPDF、pdfplumber 不都能用?"

能。

但它们解决的是"把字抠出来"的问题。

Docling 解决的是"把结构留下来"的问题。

PDF 本质上是一堆"画在页面上的指令"。

它告诉你"在坐标 (x, y) 画一段文字",但不告诉你"这段文字是标题还是正文"、"这个表格有几行几列"、"这两栏应该先读左边还是先读右边"。

传统工具把字抠出来之后,结构就丢了。

你拿到的是"一堆文字",不是"一份文档"。

Docling 做的事情,是用 AI 模型把 PDF 的视觉信息"还原"成逻辑结构。 它识别标题、段落、表格、图片、公式、代码块,然后按人类阅读的顺序重新组织,输出一个带层级、带位置信息、带表格结构 的 DoclingDocument 对象。

一句话说清:Docling 把"能读出来"升级成了"能按结构用"。

二、一张图看懂 Docling 的整体链路

Docling 的架构是模块化的,每一层职责清晰:

解析后端 :针对不同格式用不同的解析器。PDF 用的是自研的 docling-parse,基于 qpdf 构建,解决了 PyMuPDF 的许可证限制和 pypdfium 的质量问题。

AI 处理管道 :StandardPdfPipeline 会并行跑 OCR、版面分析、表格结构识别。版面分析用的是 DocLayNet 模型,表格识别用的是 TableFormer。

统一文档模型 :所有格式最终都变成一个 DoclingDocument,带层级、带位置、带表格结构。你可以无损导出 JSON,也可以导出 Markdown 或 HTML。

三、底层原理

这一节讲的是 Docling 最核心的三件事。我尽量用图把每个环节的"输入"和"输出"讲清楚。

3.1 版面分析:先搞清楚"什么东西在哪"

传统工具拿到 PDF,直接开始抠字。Docling 拿到 PDF,第一件事是把每一页渲染成图片,然后跑版面分析模型。

这一步的目标不是"认出字",是"认出元素"。

DocLayNet 模型会识别出这一页上的每个元素属于哪种类型------标题、段落、表格、图片、公式、代码块------以及它在页面上的坐标位置。

这一步的价值在于:后面所有的处理,都是基于"元素"而不是"文本流"。

它知道"这是一个表格",所以会用表格识别模型;它知道"这是一个标题",所以会保留层级。

3.2 阅读顺序还原:多栏排版不再错乱

版面分析告诉你"什么东西在哪",阅读顺序还原告诉你"先读什么、后读什么"。

双栏论文的阅读顺序是"左栏从上到下,再右栏从上到下"。

但 PDF 里没有"栏"这个概念,只有坐标。如果按坐标从上到下、从左到右硬排,左栏底部和右栏顶部会被拼在一起,上下文直接断裂。

Docling 的阅读顺序模型根据元素的位置和类型,推断出人类会怎么读这一页。

左边是"按坐标硬排"的结果:段落1 后面直接跟了段落3,上下文断了。

右边是 Docling 还原的顺序:左栏读完了才读右栏,逻辑是连贯的。

3.3 表格结构识别:TableFormer 把"一堆数字"变回"一张表"

这是 Docling 最被低估的能力。

传统工具提取表格,要么把表格拆成散落的文本块,要么用简单的行列切分,遇到合并单元格就崩。你拿到的是"一堆数字",不是"一张有结构的表"。

TableFormer 模型会预测表格的行列结构 ,包括合并单元格、多级表头、单元格内嵌列表。它输出的不是文本,是带行列关系的结构化表格。

这意味着什么?

RAG 系统检索到这张表时,大模型能看懂"这个数字属于哪个指标、哪一列"。

而不是拿到一堆散落的数字,自己猜。

四、代码实战:从 PDF 到 RAG 就绪的切片

4.1 安装

bash 复制代码
pip install docling

Python 3.10 及以上。

macOS、Linux、Windows 都支持。

4.2 基础转换:PDF 转 Markdown

bash 复制代码
from docling.document_converter import DocumentConverter

source = "your_document.pdf"
converter = DocumentConverter()
result = converter.convert(source)

print(result.document.export_to_markdown())

4.3 处理扫描件:开启 OCR

bash 复制代码
from docling.document_converter import DocumentConverter, PdfFormatOption
from docling.datamodel.pipeline_options import PdfPipelineOptions
from docling.datamodel.base_models import InputFormat

pipeline_options = PdfPipelineOptions()
pipeline_options.do_ocr = True
pipeline_options.do_table_structure = True

converter = DocumentConverter(
    format_options={
        InputFormat.PDF: PdfFormatOption(pipeline_options=pipeline_options)
    }
)
doc = converter.convert("scanned_invoice.pdf").document
print(doc.export_to_markdown())

4.4 RAG 切片:HybridChunker 把结构"喂"给向量库

这是 Docling 跟 RAG 结合最关键的一步。

普通的字符切片会切断句子、拆散表格。HybridChunker 会按照文档的结构来切------标题下的段落不会被拆开,表格不会被切成两半。它还会用 tokenizer 感知的方式,确保切片大小适合你的 Embedding 模型。

bash 复制代码
from docling.document_converter import DocumentConverter
from docling.chunking import HybridChunker

converter = DocumentConverter()
doc = converter.convert("employee_handbook.pdf").document

chunker = HybridChunker()
chunks = list(chunker.chunk(dl_doc=doc))

for chunk in chunks[:3]:
    # contextualize() 会把章节标题等元数据拼回切片文本
    print(chunker.contextualize(chunk))
    print("---")

contextualize() 的价值 :一个关于"离职政策"的切片,原本可能只有"离职需提前30天通知"这一句话。contextualize() 会把"员工手册 > 人事制度 > 离职管理"这个层级拼进去。Embedding 模型拿到的是带上下文的文本,检索准确率自然更高。

五、优缺点

优点

1. 结构化输出,RAG 友好

输出的是带层级、带表格结构、带位置信息的 DoclingDocument,不是"一堆文字"。配合 HybridChunker,切片质量远超字符切片。

2. 表格识别能力强

TableFormer 模型能还原行列结构、合并单元格、多级表头。TEDS 评分在 0.877 到 0.911 之间。

3. 完全本地运行

模型下载到本地,推理在本地跑。数据敏感、离线内网的场景也能用。

4. 多格式统一

PDF、DOCX、PPTX、XLSX、HTML、Markdown、图片、音频,全部走同一个 DoclingDocument 模型。

5. 生态集成成熟

原生支持 LangChain、LlamaIndex,有 MCP Server,Java 也有 docling-java 封装。

6. 开源治理可靠

Linux 基金会 Graduated 项目,贡献者来自 109 个组织,社区活跃度高。

缺点

1. 不是最快的

CPU 上处理一份复杂 PDF 大约 9 到 10 秒。Marker 或 PyMuPDF4LLM 在简单 PDF 上更快。

2. 复杂表格仍有上限

嵌套极深的表格,Reducto 这类商业方案声称准确率高约 20%。

3. Python 生态,Java 需要绕道

Docling 本身是 Python 包。Java 项目需要通过 docling-serve 的 REST API 或 docling-java 封装来调用,多一层网络开销。

4. 部分高级功能默认关闭

公式转 LaTeX、代码块识别、图片描述这些能力,默认是关的,需要手动开。

六、适用场景

场景 推荐程度 理由
RAG 知识库文档预处理 ✅✅✅ 强烈推荐 结构化输出 + HybridChunker,切片质量高
需要保留表格结构 ✅✅✅ 强烈推荐 TableFormer 还原行列和合并单元格
数据敏感、不能上云 ✅✅✅ 强烈推荐 完全本地运行,离线可用
技术文档/学术论文解析 ✅✅✅ 强烈推荐 版面分析和阅读顺序还原能力强
追求极致解析速度 ⚠️ 需评估 CPU 上比 Marker 慢
极复杂嵌套表格 ⚠️ 需评估 商业方案仍有优势
纯 Java 技术栈 ⚠️ 需评估 需要通过 REST API 调用

七、写在最后

回到最初的问题:为什么越来越多人用 Docling?

因为它把 PDF 解析这件事,从"抠字"升级成了"还原结构"。

一份 PDF 的价值不在于"有多少字",在于"字和字之间是什么关系"。标题属于哪个章节、表格里的数字对应哪个指标、这段代码属于哪个函数------这些关系,传统工具丢掉了,Docling 留下来了。

留下来的结构,直接决定了 RAG 系统的上限。

一份被拆散的表格,Embedding 模型再强也检索不准;一份保留结构的表格,检索出来的片段大模型直接能用。

当然,Docling 不是最快的,复杂表格也不是 100% 准确。

但对于"我要把 PDF 变成 RAG 能用的数据"这个需求来说,Docling 是目前开源方案里结构保留最完整、生态集成最成熟的选择之一。

参考资源:

来源:www.susan.net.cn

相关推荐
nice_lcj52018 分钟前
【从零理解计算机网络 · 12】登录态的载体:Cookie、Session、Token 在网络层怎么走
后端·计算机网络·面试·jwt·token·cookie·session
考虑考虑2 小时前
JDK27中的加密对象的 PEM 编码
java·后端·java ee
Coder_shen2 小时前
汇川 EVO 系列 PLC EtherNet/IP(CIP)协议通信驱动的 C# 实现
后端
行百里er2 小时前
【Spring Insight 技术分享】如何让 AI 解释失败也不拖垮控制台
后端·spring cloud·开源
行者-全栈开发2 小时前
SpringBoot + GraalVM 原生编译实战:启动时间从8秒到0.5秒的极致优化
java·spring boot·后端
CoderYanger2 小时前
Java EE 进阶:10. MyBatis-Plus使用(第一弹)
java·spring boot·后端·sql·spring·java-ee·mybatis
一条Go3 小时前
状态页与 SLA:对外承诺是怎么算出来的
后端·架构·github
喵个咪3 小时前
GoWind IM 场景:乙方怎么用一套 IM 平台交付多个客户——档位、租户与离线交付
后端·go·saas
大胖爱学习_MJ4 小时前
超越向量检索:用 Spring Boot + Neo4j 手搓 GraphRAG 知识图谱记忆
java·后端·python