DeepSeek-OCR v2 解读

DeepSeek-OCR 发布于25年10月,而这次DeepSeek-OCR 2发布仅隔了三个月。这会不会是DeepSeek V4发布前上的前菜呢?让我们一起尝尝鲜吧。

github地址:https://github.com/deepseek-ai/DeepSeek-OCR-2

一、研究背景

传统视觉语言模型(VLMs)处理视觉令牌时,采用固定的从左上到右下的光栅扫描顺序,搭配固定位置编码,这与人类视觉感知存在本质差异。人类视觉会遵循由语义逻辑驱动的灵活且连贯的扫描模式,尤其在处理布局复杂的图像(如包含复杂版式、公式和表格的文档)时,会进行基于因果关系的顺序处理。

现有模型将2D图像块按预定义光栅扫描顺序展平为1D序列的方式,引入了不必要的归纳偏置,忽略了语义关联。而文档OCR任务中存在的复杂布局顺序、复杂公式和表格等结构化元素,天然携带因果视觉逻辑,需要复杂的推理能力,这使得文档OCR成为验证新型视觉编码方法的理想场景,因此亟需一种更贴近人类视觉编码方式的模型架构。

二、核心工作

  1. 提出新型编码器DeepEncoder V2 ,通过融合双向注意力 和因果注意力机制,让视觉编码器具备因果推理能力,实现视觉令牌的语义驱动重排序,突破传统固定扫描顺序的限制。
  2. 构建DeepSeek-OCR 2模型,在继承DeepSeek-OCR的图像压缩比和解码效率的基础上,显著提升性能,其视觉令牌数量控制在256-1120之间,既保证实用性又具备竞争力。
  3. 验证了将语言模型架构用作VLM编码器的可行性,为实现统一的全模态编码提供了新路径,该架构可通过配置特定模态的可学习查询,实现跨图像、音频、文本等多种模态的特征提取和令牌压缩。

三、研究方法

3.1 整体架构

延续DeepSeek-OCR的编码器-解码器架构,编码器负责将图像离散化为视觉令牌,解码器基于视觉令牌和文本提示生成输出,核心改进集中在编码器部分(升级为DeepEncoder V2)。

3.2 DeepEncoder V2关键设计

  1. 视觉令牌器:采用80M参数的SAM-base与两个卷积层结合的架构,最终卷积层输出维度从1024降至896,实现16倍令牌压缩,平衡计算成本和内存占用。
  2. 语言模型作为视觉编码器:用Qwen2-0.5B(500M参数)替代DeepEncoder中的CLIP组件,视觉令牌采用双向注意力保留全局建模能力,新增的因果流查询采用因果注意力,且查询与视觉令牌数量相等,仅将因果查询输出送入LLM解码器。
  3. 因果流查询:采用多裁剪策略,全局视图(1024×1024分辨率)对应256个查询嵌入,局部裁剪(768×768分辨率)可设置0-6个裁剪区域,每个局部视图共享144个查询嵌入,总令牌数为k×144+256(k为局部裁剪数)。
  4. 注意力掩码 :由双向掩码(用于视觉令牌,支持全令牌可见)和因果三角掩码(用于因果流令牌,仅允许关注前面的令牌)拼接而成,实现特定的注意力机制。

3.3 解码器与训练流程

  1. 解码器:沿用DeepSeek-OCR的3B参数MoE结构,活跃参数约500M。
  2. 训练三阶段:
    • 第一阶段预训练编码器,使其具备特征提取、令牌压缩和重排序能力;
    • 第二阶段查询增强,联合优化LLM编码器和解码器,强化令牌重排序和视觉知识压缩;
    • 第三阶段冻结编码器,仅优化解码器,提升训练效率和令牌理解能力。

四、实验设计

4.1 数据设置

采用与DeepSeek-OCR相同的数据源,包括OCR 1.0、OCR 2.0和通用视觉数据,OCR数据占训练混合数据的80%。对数据进行两项优化:

  • 对OCR 1.0数据采用更均衡的采样策略,按文本、公式、表格3:1:1的比例划分页面。
  • 合并语义相似的布局检测类别。

4.2 基准测试

选用OmniDocBench v1.5作为主要基准,该基准包含1355个文档页面,涵盖9个主要类别,支持中英文,具有多样化测试样本和稳健的评估标准,可全面验证模型在文本、公式、表格识别及阅读顺序等方面的性能。

4.3 评估指标

主要采用整体性能准确率、编辑距离(ED)作为评估指标,包括文本编辑距离、公式CDM、表格TEDs、阅读顺序编辑距离等,编辑距离越低表示性能越好。同时在生产环境中以重复率作为关键质量指标。

五、实验分析

5.1 主要结果

  1. 在OmniDocBench v1.5上,DeepSeek-OCR 2整体性能达到91.09% ,相比DeepSeek-OCR基准提升3.73%,阅读顺序编辑距离从0.085降至0.057,证明DeepEncoder V2能有效基于图像信息选择和排列视觉令牌。
  2. 在相同视觉令牌预算(1120)下,DeepSeek-OCR 2的整体编辑距离(0.100)低于Gemini-3 Pro(0.115),在文本、公式、表格的编辑距离上均有优化,体现了其在高压缩率下的优异性能。

5.2 改进空间

  1. 在报纸类文档的文本识别编辑距离上表现不佳(>0.13 ED),推测原因是视觉令牌上限较低以及相关训练数据不足(仅250k样本)。
  2. 阅读顺序指标在所有9类文档中均优于DeepSeek-OCR,进一步验证了视觉因果流编码器设计的有效性。

5.3 实际应用性能

在生产场景中,DeepSeek-OCR 2的重复率显著降低,在线用户日志图像的重复率从6.25%降至4.17%,PDF数据生产的重复率从3.69%降至2.88%,提升了实际应用中的实用性。

六、总结

DeepSeek-OCR 2通过引入新型编码器DeepEncoder V2,实现了视觉令牌的因果语义重排序,突破了传统视觉语言模型固定扫描顺序的局限。该模型在保持高视觉令牌压缩率和解码效率的同时,显著提升了文档OCR任务的性能,尤其在阅读顺序和多类型文档元素识别上表现突出。

此外,论文验证了语言模型架构作为VLM编码器的可行性,为统一全模态编码奠定了基础。未来研究将进一步优化架构,探索真正的2D推理能力,同时扩展至更多模态,朝着更全面的多模态智能方向发展。

相关推荐
GitCode官方31 分钟前
开源鸿蒙跨平台直播|AI 时代,用 cj-tauri 开发鸿蒙 PC 应用
人工智能·华为·harmonyos·atomgit
老金带你玩AI1 小时前
GPT-6.2更强更便宜了,为什么还有人骂?
人工智能
CyrusYiVPP1 小时前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python
泯泷1 小时前
OpenClaw 退潮背后,是 AI 圈“技术自嗨”的终结
人工智能·chatgpt·llm
罗西的思考2 小时前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习
屿华AI2 小时前
AUTOSAR 实战-诊断工具 | 用 Claude Code 开发诊断测试工具:AI 协作开发实践
人工智能·测试工具
程序员韩星2 小时前
OpenAI 兼容接口返回 404,先查请求地址,再查模型名
前端·人工智能·http
Cosolar2 小时前
2026 年 Java AI Agent 生态全景盘点:50+ Java 开源项目的分类、实测与选型判断
人工智能·架构·agent
花椒技术2 小时前
从“实时生成游戏”出发,我们用 AI 做了四次游戏开发尝试
人工智能·aigc·游戏开发
其实防守也摸鱼3 小时前
用 Claude Code 重构遗留系统:从评估到落地的完整指南
前端·网络·人工智能·chrome·安全·重构