【OCR】——端到端文字识别GOT-OCR2.0不香嘛?

代码:https://github.com/Ucas-HaoranWei/GOT-OCR2.0?tab=readme-ov-file

在线demo:https://huggingface.co/spaces/stepfun-ai/GOT_official_online_demo

0.前言

最早做ocr的时候,就在想如何能做一个端到端的模型,就不用先检测再识别,最起码只用只用维护一个模型。现在他来了。而且鲁棒性,适用面都很强。但是部署。。。

1.效果实测

可以通过在线demo实测,效果强的可怕。

2.论文解读

2.1 主要贡献

  • 实现了一种端到端的OCR模型。
  • 多样的输入,多样的输出,还支持交互式。
  • 在输入端,该模型支持切片和整页样式中常用的场景和文档样式图像。在输出端,GOT 可以通过简单的提示生成普通或格式化的结果(markdown/tikz/smiles/kern)。此外,该模型具有交互式OCR特征,即由坐标或颜色引导的区域级识别。此外,我们还将动态分辨率和多页OCR技术应用于GOT,以获得更好的实用性

2.2 网络结构


encoder :编码器结构是 VitDet基本版本,参数约为 80M,它将 1024×1024×3 输入图像转移到 256×1024 图像token,然后,这些图像标记通过 1024×768 线性层投影到语言模型。
qwen-0.5B:大语言模型

2.3 训练细节

第一阶段:encoder训练:

受 LVLM 设计的启发,解码器可以通过训练有素的语言模型进行初始化。然而,我们没有为 OCR-2.0 模型找到合适的预训练编码器,所以我们必须自己训练一个。我们希望新的OCR编码器能够很好地处理各种输入形状(切片和整个页面)中常用的场景和文档文本识别。

编码器结构是 VitDet基本版本,再接一个小的decoder OPT-125M

第二阶段:微调大预言decoder

在视觉编码器的预训练步骤之后,我们将其连接到更强大的语言模型,以构建 GOT 的最终架构。在这里,我们采用 Qwen-0.5B作为解码器,因为它的参数数量相对较少,同时结合了多种语言的先验知识。连接器的尺寸(即线性嵌入层)调整为 1024×1024,以与 Qwen-0.5B 的输入通道对齐。因此,GOT 具有无缝的编码器-解码器范式,总共有大约 580M 的参数,这在计算上更友好,更容易部署在具有 4G 内存的消费级 GPU 上。编码器的高压缩率(1024×1024 光像素到 256 个图像标记)为解码器节省了大量标记空间以生成新的标记。同时,解码器的令人满意的解码上下文长度(我们使用大约 8K max-length)确保 GOT 可以有效地输出密集场景下的 OCR 结果

第三阶段:prompt微调

作为高交互特征,细粒度OCR是由空间坐标或颜色控制的区域级视觉感知。用户可以在问题提示中添加框坐标(框引导的 OCR)或颜色文本(颜色引导的 OCR),以请求感兴趣区域 (RoI) 内的识别,避免其他不相关字符的输出

2.4 实验结果

  1. open-source Fox benchmark上的结果
  2. 论文中效果图

3. other

  • 核心就是一个encoder+decoder模式的ocr,这和最开始的end2end ocr的核心是一样的,只是以前是用cnn+transformer,或者transformer+transformer,现在encoder,decoder都用了更大的模型,更多的数据。
相关推荐
镰刀韭菜7 小时前
2026 年 10 月 Mac 本地大模型:24GB / 64GB / 128GB 怎么选
mac·qwen·apple silicon·ollama·本地llm
科研邪修法1 天前
中英混排OCR评估:从字符输出到字段验收
ocr
凯瑟琳.奥古斯特2 天前
我开源了一个 Windows 截图取字工具:全局热键 + 离线 OCR + 标注打码,不上传任何数据
windows·ocr
云卷云舒___________6 天前
突发:Gemini 4 Hydrogen内测,Grok 4.8推送,Qwen Code 1.0开源,格局一夜生变 | AI日报11.12
google·qwen·grok·gemini·xai·ai日报·qwencode
AlfredZhao8 天前
OCR、VLM、ASR 到底有什么区别?一文讲清
ocr·asr·vlm
合尘猫8 天前
图片表格变结构化数据:OCR 后的三个坑
python·ocr
一枕槐安48715 天前
Qwen 通义千问本地部署与推理服务封装
fastapi·qwen·vllm·流式推理·openai兼容api·awq量化
hddata@15 天前
字符切得准,文本溯得清——高维数据OCR字符分割专利获授权,赋能多行业文本安全应用
安全·ocr
楚识科技15 天前
企业级 OCR 选型指南:从 API 调用到私有化部署的技术对比
ocr
开开心心就好16 天前
网页图片批量下载工具,输入链接就保存
服务器·算法·leetcode·支持向量机·pdf·ocr·1024程序员节