借助于llm将pdf转化为md文本

pdf转化为md格式后,意味着非结构化文本转为结构化文本,能清晰定位大标题、子标题,图表。

方便后续处理,因为llamaindex和langchain能更有效切分md类文本,避免信息丢失。

1)读取pdf为txt

读取pdf,并使用RecursiveCharacterTextSplitter去尝试分块,一般情况下效果不好

pdf文本暂时表示recur_text

复制代码
from langchain.text_splitter import RecursiveCharacterTextSplitter, CharacterTextSplitter

from pypdf import PdfReader
# 读取 PDF 文件
pdf_path = 'docs/word.pdf'
reader = PdfReader(pdf_path)
recur_text = ''
for page in reader.pages:
    recur_text += page.extract_text().strip() + "\n\n"

recur_splitter = RecursiveCharacterTextSplitter(
    separators=["。"],
    chunk_size = 512,
    chunk_overlap  = 128
)
recur_docs = recur_splitter.create_documents([recur_text])

2)使用llm将txt转化为md

qwen或deepseek小一点的LLM不能完成这个任务,deepseek-r1完整版本可以。

prompt示例如下

复制代码
# 示例调用
prompt = """
请将以下合同转化为md格式。
---
{}
""".format(recur_text)

若recur_text太长,需要切分后分批调用。

另外一种方式,就是将pdf先转化为图谱,在调用qwen2.5-vl模型解析图片输出md5文档。

reference


qwen2.5vl-pdf2md

https://github.com/QwenLM/Qwen2.5-VL/blob/main/cookbooks/document_parsing.ipynb

olmocr

https://github.com/allenai/olmocr

六个开源的PDF转Markdown项目

https://zhuanlan.zhihu.com/p/711487482

llm-parse

https://github.com/tanchangsheng/llm-parse

相关推荐
拓端研究室7 小时前
专题:2025机器人产业的变革与展望白皮书:人形机器人与工业机器人洞察|附130+份报告PDF、数据、绘图模板汇总下载
人工智能·机器人·pdf
qq_420362037 小时前
PDF导出服务
前端·pdf·状态模式·node·puppeteer
家有两宝,感恩遇见8 小时前
pdf文件上传下载记录
pdf
一滴水的眼泪8 小时前
读取实验室原始记录单PDF内容
pdf
stayhungry_c13 小时前
Quarto生成PDF无法正常显示中文的问题
python·macos·r语言·pdf
我命由我1234515 小时前
Android PDF 操作 - AndroidPdfViewer 弹出框显示 PDF
android·java·java-ee·pdf·android studio·android-studio·android runtime
2501_938782091 天前
实战 Python NLP:处理 PDF 文档批量提取文本并进行主题建模
python·自然语言处理·pdf
我血条子呢1 天前
【预览PDF】前端预览pdf
前端·pdf·状态模式
Source.Liu1 天前
【PrintPDF】PrintPDF Cargo.toml 分析
rust·pdf
luyun0202021 天前
流批了,pdf批量转excel
windows·pdf·excel·figma