多模态文档解析后处理开源模型:MinerU-Popo方案思路提升RAG性能

目前各类的文档解析方案(VLM-OCR)都是基于【单页】文档进行解析,输出每页文字、表格、图片+坐标框,但存在4类跨页缺点:

  1. 段落跨页被分页切割、文本断裂;
  2. 大表格分页拆分,上下表身割裂;
  3. 多级标题(一级/二级/三级标题)层级混乱、从属关系丢失;
  4. 插图和对应正文分离,图文无法绑定。

在RAG场景,需要全书/文档连贯的文档级结构化数据

MinerU-Popo是一个后处理方案,在不改动原有VLM-OCR模型后对文档级结构进行重构。

方法架构

整体方案针对4类跨页缺点基于Qwen3-VL-4B构造4个任务各自独立数据集进行微调。对于【跨页文本截断、表格截断】,定义成二分类任务;

对于【标题层级重构】,定义成开放层级(1、2、3...n)预测;

图文关联匹配(图片和图注 / 正文描述分散在不同页面,绑定图文)】,预测文字与其关联的图像或表格。

最终四项任务全部跑完后,所有零散页面元素被组装为文档树结构

全书(H0)→一级标题H1→二级H2→(段落/完整表格/绑定图片),直接适配RAG知识库入库。

实验评测

参考文献

MinerU-Popo: Universal Post-Processing Model for Structured Document Parsing,https://arxiv.org/abs/2605.24973

往期相关

多模态文档解析的开源项目模型技术方案都在《文档智能专栏》,如:

...

相关推荐
土星云SaturnCloud20 小时前
智慧港口边缘计算:基于土星云边缘计算设备的三级架构设计与实战
服务器·人工智能·ai·边缘计算
XS03010620 小时前
Spring AI第一课
数据库·人工智能·spring
TMT星球20 小时前
梦饷科技联合创始人兼CEO冷静出席2026世界人工智能大会,分享私域电商赋能乡村振兴创新实践
人工智能·科技
spssau20 小时前
一文学会结构方程模型:从模型搭建、路径图绘制到不达标调整,实操全流程
人工智能·python·算法
数科星球20 小时前
百川智能 WAIC 首次展现 M4 专科能力:肿瘤、儿科已走进真实临床
人工智能
OpenApi.cc20 小时前
video-caption-cnn
人工智能·神经网络·cnn
2503_9317124820 小时前
2026年国内广东树脂骰子/合成树脂配件/树脂化妆刷/树脂胡须刷/树脂按摩手柄工厂盘点
大数据·人工智能
2503_9317124820 小时前
2026 论文文献综述逻辑理不清,AI 论文工具快速完成文献综述写作
人工智能
txg66620 小时前
Agent 攻击 Agent:自动检测 LLM Agent 中的污点式漏洞
人工智能·深度学习·安全·网络安全
FriendshipT20 小时前
Ultralytics:解读C3Ghost模块
人工智能·pytorch·python·深度学习·目标检测