阿里:端到端文档解析模型OvisOCR2

📖标题:OvisOCR2 Technical Report

🌐来源:arXiv, 2607.13639v1

🛎️文章简介

🔸研究问题:如何在不依赖复杂流水线的情况下,利用紧凑的端到端模型实现超越传统方法的文档解析性能?

🔸主要贡献:论文提出了OvisOCR2,一个0.8B参数的端到端文档解析模型,通过创新的数据引擎和训练策略,在OmniDocBench等基准上取得SOTA成绩。

📝重点思路

🔸构建混合数据引擎:结合真实文档与合成数据。真实数据经专用OCR解析、规则清洗及人工抽检;合成数据基于HTML模板生成,确保图像与Markdown标注严格对齐,覆盖长尾难例。

🔸多阶段训练策略:首先对Qwen3.5-0.8B和4B模型进行监督微调;随后在4B分支上使用GRPO算法进行强化学习,引入文本、公式和表格的多组件奖励;接着通过在线策略蒸馏将4B教师模型的知识迁移至0.8B学生模型;最后进行模型融合。

🔸优化强化学习训练:设计包含文本编辑距离、公式CDM和表格TEDS的综合奖励函数,并采用分层并行和快捷路径优化奖励计算效率,解决长序列生成的训练瓶颈。

🔎分析总结

🔸性能全面领先:在OmniDocBench v1.6上获得96.58的最高分,超越PaddleOCR-VL-1.6等主流流水线方法;在PureDocBench上Avg3得分75.06,同样位居第一。

🔸鲁棒性与泛化能力强:在涵盖手写体和复杂表格的内部基准测试中,OvisOCR2在整体得分、文本准确率及表格结构恢复上均表现最佳,且表格缺失率显著低于对比方法。

🔸小模型潜力巨大:证明仅0.8B参数的端到端模型,通过高质量数据和精细化训练,足以在结构化文档解析任务上击败参数量更大或架构更复杂的流水线系统。

💡个人观点

论文打破了端到端模型性能不及流水线的刻板印象,成功关键不仅在于模型架构,更在于构建了高保真的合成数据闭环以及"大模型RL引导+小模型蒸馏"的高效训练范式。

相关推荐
看浪的路人2 分钟前
第1讲:2026 大模型应用开发全景——Prompt / RAG / 微调 / Agent 到底先用哪个
人工智能·算法
wjkjpcba3 分钟前
机器人控制板PCBA贴片厂家制造工艺解析:SMT贴片、DIP插件与检测流程
人工智能·机器人·smt贴片加工·pcba贴片加工厂
星核0penstarry3 分钟前
企业接入多家 AI API,聚合平台能解决什么、不能解决什么
人工智能·大模型·ai编程·合规·api聚合平台·大模型网关·接入层
IT_陈寒4 分钟前
为什么我的Vue组件总是莫名其妙更新?
前端·人工智能·后端
aneasystone本尊5 分钟前
学习大模型训练的数据:从互联网到高质量语料
人工智能
鱼宵11 分钟前
LangChain4j RAG 流水线:手写问答全流程,给 AI 开卷考试
大数据·人工智能·机器学习·langchain4j
HIT_Weston12 分钟前
247、【AI】【模型部署】基座模型研究:RoPE 用在前向还是反向——训练、推理与 KV cache
人工智能
m4Rk_15 分钟前
【论文阅读】Agent 记忆机制(97):MCMA——让 Agent 学会如何抽象记忆,实现跨任务经验迁移
论文阅读·人工智能·学习·开源·github
晓德18 分钟前
7、LLM 模型是怎么训练生成的?(4)指令微调
人工智能·学习·算法·信息安全
蝶依斓(湖南)全案整装20 分钟前
整装企业环保健康交付内容写作方法:空气健康、环保材料与检测标准的非空泛表达
大数据·人工智能