处理一批 PDF,怎么算真的处理完了

批量处理 PDF,最怕脚本跑完一声不响,你不知道有没有哪页被悄悄漏掉。

这就需要把要校验的几处逐个摆出来:拆完页数怎么核对、哪些页没抽出文本、遮盖后文字是不是还在、清单上哪些文件得单独标出来。

每一步生成的东西都回头再抽一次。脚本没报错、输出文件一个不少都不算数,得靠第二次抽取的数字说话。

下面用 5 份课程材料走一遍:课程论文、习题讲义、往届范文,归档前要拆页、抽表、把作者信息和答案页盖掉。

1. 先分「错了能不能重来」

要决定每处验得多严,先按一件事把这批活分开:做错了能不能重跑一次补救。

5 份模拟材料:4 份完整,1 份是下载到一半、没写完的文件。

python 复制代码
raw = path.read_bytes()
if not raw.startswith(b"%PDF-") or b"%%EOF" not in raw:
    raise ValueError("文件不完整,打不开")
latex 复制代码
待归档文件 5 份: ['下载中断.pdf', '习题讲义_01.pdf', '往届范文.pdf', '课程论文_01.pdf', '课程论文_02.pdf']

按「错了能不能重来」分两组:
  可逆:拆分页数、抽取文本、生成清单 → 发现不对重跑一次就行
  不可逆:遮盖作者信息与答案 → 归档公开后收不回来,必须验完再发
分组 包含的活 错了会怎样
可逆 拆分页数、抽取文本、生成清单 发现不对,重跑一次就行
不可逆 遮盖作者信息、答案页 归档公开后收不回来

上面那两行检查就是分组之外的第一道闸:下载中断.pdf 卡在 %%EOF 上,直接抛 ValueError,清单里「能打开」是「否」。

PDF 还有个让这件事更麻烦的特点:它不像表格那样少一行一眼能看出来,页面只是个容器,文字藏在内容流里,改完从外表几乎看不出差别,所以「看着没问题」在这类文件上特别不可靠。

分组不是为了分类好看,是决定每步要验得多严。

可逆那组出问题只是浪费时间;不可逆那组一旦没验出来,材料已经发出去了。

所以后面三小节的顺序是风险递进,不是操作顺序------这几件事之间本来就没有先后依赖,拆页不必等抽取,清单也不必等遮盖。

2. 拆完页数对不对得上

可逆那组里,先做最不容易出事的一件:把 5 页的讲义按每 2 页拆成 3 份,得到 2、2、1 页,相加正好 5。

怎么把文件拼起来、怎么写页码,这里不讲;要讲的是拆完拿什么核对。

python 复制代码
declared = int(re.search(r"/Count\s+(\d+)", text).group(1))
page_objs = len(re.findall(r"/Type\s*/Page\b", text))
latex 复制代码
原文件页数(数内容流): 5 → 拆成 3 份: [2, 2, 1] ;相加 = 5
核对: 对得上

课程论文_02:/Count 声明 3 页, 全文扫到 /Type /Page 对象 4 个 → 不一致,得查

坑就在最后这行上。/Count 声明 3 页,可全文扫到 4 个 /Type /Page 对象------多出来的是一个没挂进页面树的孤儿对象。

PDF 允许增量更新留下这种残留,阅读器照常打开,只看声明值的脚本却会把它漏掉。所以核对页数得数实际的内容流,不能只信元数据写的那个数。按「每 N 页」拆的时候,最后一份不足 N 页也最容易在循环里被漏掉,输出里 [2, 2, 1] ;相加 = 5 这一步不能省。

拆出来的 3 份写进输出目录,总页数对得上,这一步才算完。但「对得上」只说明页没丢,不说明页里的内容都拿到了。

3. 哪些页没抽出东西

页数对得上,还差一步:看每页到底抽出了多少文字。

PDF 里的文字不是像素,是内容流里的一串编码,长这样:<FEFF...> Tj。

抽取器做的事就是把这些串找出来、解回文本。

python 复制代码
for s in streams:
    lines = [ln for ln in s.split("\n") if "Tj" in ln]
    if not lines:
        empty_pages += 1
latex 复制代码
  习题讲义_01.pdf:5 页里 2 页没抽出任何文字
合计没抽出文字的页: 2 → 空字符串不等于「这页是空的」,可能整页是扫描图

跑下来,5 页讲义里有 2 页一个字都没抽出来,这两页是扫描版,整页只有图,没有文本层。

麻烦在于抽取器对这种情况不报错,它只是安静地吐一个空字符串。

要是把空串当成「这页没内容」跳过,清单上就永远看不出有这两页存在。

所以无文本层的页得单独数、单独标,别混进正常结果里。至于这两页后面是送去 OCR 还是人工看一眼,脚本不替你决定,它只负责标出来------只标记,不替人删,这是整套流程里反复要守的一条。

这也是为什么这一步要放在遮盖之前:先知道哪些页根本没读到,才谈得上后面遮没遮对。

4. 遮住了不等于删掉了

可逆的两件查完,轮到不可逆这组。

要遮的是作者姓名、学号、参考答案和解析,这份材料里一共 5 处。

做两版:一版在那一带画一个黑矩形,文字那行留着;一版把含敏感词的那行 Tj 整个去掉。

python 复制代码
if sensitive:
    drawn_lines.append("0 0 0 rg 45 762 500 20 re f")  # 只盖一层黑框
    removed_lines.append("")                            # 真删:连 Tj 一起去掉

两版生成完,各自再抽一次文本数敏感词,脚本打印的是:

latex 复制代码
遮盖前文本层里的敏感词: 5 处
只画黑框后,再抽一次: 5 处 → 看着盖住了,文字还在
真正删掉 Tj 后,再抽一次: 0 处
结论: 遮住了不等于删掉了

黑框版看着盖得严严实实,可再抽一次还是 5 处,文字仍在内容流里,搜索、复制、或者随便一个抽取脚本都能把它原样抠出来。原因是 PDF 里文字和图形是两层,矩形只是叠在上面,没有动底下那行字。

真删版把那行 Tj 抽掉,再抽就是 0。

这种「叠一层图形」的做法很常见,不少编辑器里的遮盖工具就是这么实现的,导出时底层文字原封不动。

所以验证不能靠人眼扫一遍了事,得固化成脚本里的第二次抽取:每次遮盖完自动再数一遍,数到 0 才算过。这就是标题那句「怎么算真的处理完了」最实在的一层:文件生成了、页面看着对了,都不算;回头抽一次,数字说了算。可逆组没验出来顶多重跑,这一组没验出来,材料已经公开了。

5. 清单与沉默的失败

逐处验完,把所有文件的结果收到一张清单里,脚本打印出来是这样:

文件 实际页 无文本层页 能打开 备注
下载中断.pdf --- --- 否 文件不完整
习题讲义_01.pdf 5 2 是 含扫描页
往届范文.pdf 2 0 是 ---
课程论文_01.pdf 4 0 是 ---
课程论文_02.pdf 3 0 是 元数据与页面对象数不一致
python 复制代码
print("标记出来的:",
      [r["文件"] for r in table if r["备注"] or r["能打开"] == "否"])
latex 复制代码
标记出来的: ['下载中断.pdf', '习题讲义_01.pdf', '课程论文_02.pdf']

5 份里标出 3 份:一份根本打不开、一份有两页没读到、一份元数据对不上。

这三种情况脚本都不会报错,输出文件也一个不少------安静的失败最容易被当成成功。清单里除了页数和字节数,专门留了「能打开」「无文本层页」「备注」三列,就是为了让它们没法沉默。

脚本内部「声明页数」和「页面对象数」也特意分成两个值:课程论文_02 那份 3 对 4,两个数打架本身就是信号,合成一列就看不见了。

还有个顺序上的别扭:清单其实该最先跑。先知道哪些文件打不开、哪些整本是扫描件,再决定后面怎么拆、怎么抽、要不要先做 OCR,比全部处理完才发现合理得多。把它当收尾报告写,就白白晚了一步。

6. 串成一个入口

几处验证和清单都齐了,最后把它们收成一个入口。

五步各是一个函数,run_pipeline 按序跑完,重跑前先清输出目录,免得上次的拆分文件混进清单。

python 复制代码
files = overview(cfg)
split_check(cfg)
extract_check(cfg)
cover_check(cfg)
inventory(cfg, files)

输出目录里留下 3 份拆分 PDF、两版遮盖 PDF 和一份 清单.csv。

生成这些极简 PDF 和解析内容流那几十行样板都在 pdf_pipeline.py 里,正文没贴------它用的是标准中文字体对象和 UTF-16 编码的内容流,生成的 PDF 结构合法,但定位只是「让文本层看得见」,一般的 PDF 阅读器打不开也正常。

相关推荐
苏三说技术1 小时前
为什么越来越多人用 Docling ? - 苏三说技术
后端
nice_lcj5201 小时前
【从零理解计算机网络 · 12】登录态的载体:Cookie、Session、Token 在网络层怎么走
后端·计算机网络·面试·jwt·token·cookie·session
承渊政道2 小时前
【Python编程快速上手—让繁琐工作自动化】(列表:把数据排成队,从下标取值到深拷贝)
开发语言·python·pycharm·自动化·列表
考虑考虑2 小时前
JDK27中的加密对象的 PEM 编码
java·后端·java ee
大胖爱学习_MJ2 小时前
Agent 如何安全地拿数据库密码?基于 HashiCorp Vault 的动态凭证下发
经验分享·python
Coder_shen2 小时前
汇川 EVO 系列 PLC EtherNet/IP(CIP)协议通信驱动的 C# 实现
后端
行百里er2 小时前
【Spring Insight 技术分享】如何让 AI 解释失败也不拖垮控制台
后端·spring cloud·开源
行者-全栈开发3 小时前
SpringBoot + GraalVM 原生编译实战:启动时间从8秒到0.5秒的极致优化
java·spring boot·后端
tryCbest3 小时前
Python 爬虫从入门到实战(一):基础篇——从零写出第一个爬虫
开发语言·爬虫·python