大语言模型-PDF文档解析

PDF解析能够提升大语言模型系统的信息处理能力和应用范围,为用户提供更加便捷、高效、个性化的服务体验。本文介绍三种常用的pdf解析方式:Open ParsepdfplumberPyMuPD

一、Open Parse

Open Parse是一个能够直观地识别文档布局并有效地对其进行分块的灵活、易于使用的库。

处理流程

将解析出来的相关元素组合在一起,形成一个连贯的结构,输出表示文档不同部分的节点。如下图所示。

默认处理流程

python 复制代码
from openparse import DocumentParser

parser = DocumentParser()

语义辅助的处理流程

将每个节点的文本向量化,然后根据它们的相似性将它们聚类在一起。

目前只支持OpenAI API生成嵌入,但计划很快添加更多选项。

python 复制代码
from openparse import processing, DocumentParser

semantic_pipeline = processing.SemanticIngestionPipeline(
    openai_api_key=OPEN_AI_KEY,
    model="text-embedding-3-large",
    min_tokens=64,
    max_tokens=1024,
)
parser = DocumentParser(
    processing_pipeline=semantic_pipeline,
)
parsed_content = parser.parse(basic_doc_path)

表格处理流程

目前,我们提供三种从PDF中提取表格的选项:unitable , pymupdftable-transformer

用法如下:

python 复制代码
parser = openparse.DocumentParser(
    table_args={...}
)

# ingesting the document
parsed_10k = parser.parse(meta10k_path)
1) Unitable

缺点:计算量大,检测表格位置时会遗漏或错误裁剪。

Name Type Description Default
parsing_algorithm Literal["unitable"] 将使用的解析方式,当前unitable None
min_table_confidence float 要提取的表的最小置信度得分。 0.75
table_output_format Literal["html"] 提取的表格的格式。目前只支持html。 None
python 复制代码
parser = openparse.DocumentParser(
    table_args={
        "parsing_algorithm": "unitable",
        "min_table_confidence": 0.8,
    }
)
parsed_doc = parser.parse(doc_with_tables_path)
2) Pymupdf

在结构相对简单的密集表上运行良好、也很快。

Name Type Description Default
parsing_algorithm Literal['pymupdf'] 将使用的解析方式,当前pymupdf None
min_table_confidence float 要提取的表的最小置信度得分。 0.75
table_output_format Literal['html|markdown'] 提取的表格的格式。目前只支持html和markdown。 None
python 复制代码
# defining the parser (table_args is a dict)
parser = openparse.DocumentParser(
    table_args={
        "parsing_algorithm": "pymupdf",
        "table_output_format": "markdown"
    }
)

# ingesting the document
parsed_10k = parser.parse(meta10k_path)
3) Table Transformer

在具有更复杂结构和大量空白的表上运行良好。

Name Type Description Default
parsing_algorithm Literal["table-transformers"] 将使用的解析方式,当前table-transformers None
min_table_confidence float 要提取的表的最小置信度得分。 None
min_cell_confidence float 要提取的单元格的最小置信度分数。 None
table_output_format Literal["markdown", "html"] 提取的表格的格式。同时支持markdown和html。 None
python 复制代码
parser = openparse.DocumentParser(
    table_args={
        "parsing_algorithm": "table-transformers",
        "min_table_confidence": 0.8,
    }
)
parsed_doc2 = parser.parse(doc_with_tables_path)

Visualization

Node类内置了对在jupyter笔记本中将其文本内容呈现为markdown的支持。

python 复制代码
import openparse

basic_doc_path = "./sample-docs/mobile-home-manual.pdf"
parser = openparse.DocumentParser()
parsed_basic_doc = parser.parse(basic_doc_path)

for node in parsed_basic_doc.nodes:
    display(node)

还可以将结果直接叠加在原始pdf上显示

python 复制代码
pdf = openparse.Pdf(basic_doc_path)
pdf.display_with_bboxes(
    parsed_basic_doc.nodes,
)

还可以将原始pdf上标记结果并导出到单独的pdf文件中

python 复制代码
pdf = openparse.Pdf(basic_doc_path)
pdf.export_with_bboxes(
    parsed_basic_doc.nodes,
    output_pdf="./sample-docs/mobile-home-manual-marked-up.pdf"
)

突出特点

🔍 视觉驱动:Open-Parse通过视觉分析提升给LLM的输入质量,超越简单的文本分割。

✍️ Markdown支持:支持基础Markdown解析,包括标题、粗体和斜体。

📊 高精度表格支持:以准确度超越传统工具的方式,将表格提取到干净的Markdown格式。

🛠️ 可扩展性:轻松实现自定义后处理步骤。

💡 直观易用:优秀的编辑器支持,处处自动补全,减少调试时间。

🎯 易于使用:设计上易于上手和学习,减少查阅文档的时间。

二、pdfplumber

三、PyMuPD

Reference

Open Parse Document

相关推荐
阿里云大数据AI技术16 分钟前
数据 + 模型 驱动 AI Native 应用发展
大数据·数据库·人工智能
大明哥_1 小时前
100 个 Coze 精品案例:Coze 全自动情感治愈视频混剪。用 Coze 工作流帮您节约 99% 的时间,从此告别手动!!
人工智能·agent
杨浦老苏1 小时前
IntelliSSH:AI驱动的远程服务器管理软件
人工智能·docker·ai·ssh·群晖
昵称是6硬币1 小时前
(DETR)End-to-End Object Detection with Transformers论文精读(逐段解析)
人工智能·深度学习·目标检测·计算机视觉·transformer
PyAIExplorer1 小时前
图像处理中的凸包检测:原理与实现
图像处理·人工智能
AndrewHZ1 小时前
【图像处理基石】如何检测到画面中的ppt并对其进行增强?
图像处理·人工智能·pytorch·opencv·目标检测·计算机视觉·图像增强
机器之心2 小时前
「Tokens是胡扯」,Mamba作者抛出颠覆性观点,揭露Transformer深层缺陷
人工智能
机器之心2 小时前
刚刚,马斯克发布Grok 4!全榜第一,年费飚到2万+
人工智能·grok
摆烂工程师2 小时前
教你在国内如何使用支付宝升级SuperGrok和Grok4的保姆绑卡教程
人工智能·支付宝·grok
fishjar1002 小时前
langgraph的ReAct应用
人工智能·ai