大语言模型-PDF文档解析

PDF解析能够提升大语言模型系统的信息处理能力和应用范围,为用户提供更加便捷、高效、个性化的服务体验。本文介绍三种常用的pdf解析方式:Open Parse、pdfplumber、PyMuPD。

一、Open Parse

Open Parse是一个能够直观地识别文档布局并有效地对其进行分块的灵活、易于使用的库。

处理流程

将解析出来的相关元素组合在一起,形成一个连贯的结构,输出表示文档不同部分的节点。如下图所示。

默认处理流程

python 复制代码
from openparse import DocumentParser

parser = DocumentParser()

语义辅助的处理流程

将每个节点的文本向量化,然后根据它们的相似性将它们聚类在一起。

目前只支持OpenAI API生成嵌入,但计划很快添加更多选项。

python 复制代码
from openparse import processing, DocumentParser

semantic_pipeline = processing.SemanticIngestionPipeline(
    openai_api_key=OPEN_AI_KEY,
    model="text-embedding-3-large",
    min_tokens=64,
    max_tokens=1024,
)
parser = DocumentParser(
    processing_pipeline=semantic_pipeline,
)
parsed_content = parser.parse(basic_doc_path)

表格处理流程

目前,我们提供三种从PDF中提取表格的选项:unitable , pymupdf 和 table-transformer

用法如下:

python 复制代码
parser = openparse.DocumentParser(
    table_args={...}
)

# ingesting the document
parsed_10k = parser.parse(meta10k_path)
1) Unitable

缺点:计算量大,检测表格位置时会遗漏或错误裁剪。

Name Type Description Default
parsing_algorithm Literal"unitable" 将使用的解析方式,当前unitable None
min_table_confidence float 要提取的表的最小置信度得分。 0.75
table_output_format Literal"html" 提取的表格的格式。目前只支持html。 None
python 复制代码
parser = openparse.DocumentParser(
    table_args={
        "parsing_algorithm": "unitable",
        "min_table_confidence": 0.8,
    }
)
parsed_doc = parser.parse(doc_with_tables_path)
2) Pymupdf

在结构相对简单的密集表上运行良好、也很快。

Name Type Description Default
parsing_algorithm Literal'pymupdf' 将使用的解析方式,当前pymupdf None
min_table_confidence float 要提取的表的最小置信度得分。 0.75
table_output_format Literal'html|markdown' 提取的表格的格式。目前只支持html和markdown。 None
python 复制代码
# defining the parser (table_args is a dict)
parser = openparse.DocumentParser(
    table_args={
        "parsing_algorithm": "pymupdf",
        "table_output_format": "markdown"
    }
)

# ingesting the document
parsed_10k = parser.parse(meta10k_path)
3) Table Transformer

在具有更复杂结构和大量空白的表上运行良好。

Name Type Description Default
parsing_algorithm Literal"table-transformers" 将使用的解析方式,当前table-transformers None
min_table_confidence float 要提取的表的最小置信度得分。 None
min_cell_confidence float 要提取的单元格的最小置信度分数。 None
table_output_format Literal"markdown", "html" 提取的表格的格式。同时支持markdown和html。 None
python 复制代码
parser = openparse.DocumentParser(
    table_args={
        "parsing_algorithm": "table-transformers",
        "min_table_confidence": 0.8,
    }
)
parsed_doc2 = parser.parse(doc_with_tables_path)

Visualization

Node类内置了对在jupyter笔记本中将其文本内容呈现为markdown的支持。

python 复制代码
import openparse

basic_doc_path = "./sample-docs/mobile-home-manual.pdf"
parser = openparse.DocumentParser()
parsed_basic_doc = parser.parse(basic_doc_path)

for node in parsed_basic_doc.nodes:
    display(node)

还可以将结果直接叠加在原始pdf上显示

python 复制代码
pdf = openparse.Pdf(basic_doc_path)
pdf.display_with_bboxes(
    parsed_basic_doc.nodes,
)

还可以将原始pdf上标记结果并导出到单独的pdf文件中

python 复制代码
pdf = openparse.Pdf(basic_doc_path)
pdf.export_with_bboxes(
    parsed_basic_doc.nodes,
    output_pdf="./sample-docs/mobile-home-manual-marked-up.pdf"
)

突出特点

🔍 视觉驱动:Open-Parse通过视觉分析提升给LLM的输入质量,超越简单的文本分割。

✍️ Markdown支持:支持基础Markdown解析,包括标题、粗体和斜体。

📊 高精度表格支持:以准确度超越传统工具的方式,将表格提取到干净的Markdown格式。

🛠️ 可扩展性:轻松实现自定义后处理步骤。

💡 直观易用:优秀的编辑器支持,处处自动补全,减少调试时间。

🎯 易于使用:设计上易于上手和学习,减少查阅文档的时间。

二、pdfplumber

三、PyMuPD

Reference

Open Parse Document

相关推荐
科研邪修法6 分钟前
PDF新增页面文字与文本批注怎么区分?以双版本培训讲义为例
前端·css·pdf
VIP_CQCRE20 分钟前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷1 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我2 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁012 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
ComPDFKit2 小时前
RAG 回答只显示 PDF 文件名?用 Python 保留引用页码
开发语言·python·pdf·rag
Csvn2 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄3 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下4 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码4 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能