【OCR】——端到端文字识别GOT-OCR2.0不香嘛?

代码:https://github.com/Ucas-HaoranWei/GOT-OCR2.0?tab=readme-ov-file

在线demo:https://huggingface.co/spaces/stepfun-ai/GOT_official_online_demo

0.前言

最早做ocr的时候,就在想如何能做一个端到端的模型,就不用先检测再识别,最起码只用只用维护一个模型。现在他来了。而且鲁棒性,适用面都很强。但是部署。。。

1.效果实测

可以通过在线demo实测,效果强的可怕。

2.论文解读

2.1 主要贡献

  • 实现了一种端到端的OCR模型。
  • 多样的输入,多样的输出,还支持交互式。
  • 在输入端,该模型支持切片和整页样式中常用的场景和文档样式图像。在输出端,GOT 可以通过简单的提示生成普通或格式化的结果(markdown/tikz/smiles/kern)。此外,该模型具有交互式OCR特征,即由坐标或颜色引导的区域级识别。此外,我们还将动态分辨率和多页OCR技术应用于GOT,以获得更好的实用性

2.2 网络结构


encoder :编码器结构是 VitDet基本版本,参数约为 80M,它将 1024×1024×3 输入图像转移到 256×1024 图像token,然后,这些图像标记通过 1024×768 线性层投影到语言模型。
qwen-0.5B:大语言模型

2.3 训练细节

第一阶段:encoder训练

受 LVLM 设计的启发,解码器可以通过训练有素的语言模型进行初始化。然而,我们没有为 OCR-2.0 模型找到合适的预训练编码器,所以我们必须自己训练一个。我们希望新的OCR编码器能够很好地处理各种输入形状(切片和整个页面)中常用的场景和文档文本识别。

编码器结构是 VitDet基本版本,再接一个小的decoder OPT-125M

第二阶段:微调大预言decoder

在视觉编码器的预训练步骤之后,我们将其连接到更强大的语言模型,以构建 GOT 的最终架构。在这里,我们采用 Qwen-0.5B作为解码器,因为它的参数数量相对较少,同时结合了多种语言的先验知识。连接器的尺寸(即线性嵌入层)调整为 1024×1024,以与 Qwen-0.5B 的输入通道对齐。因此,GOT 具有无缝的编码器-解码器范式,总共有大约 580M 的参数,这在计算上更友好,更容易部署在具有 4G 内存的消费级 GPU 上。编码器的高压缩率(1024×1024 光像素到 256 个图像标记)为解码器节省了大量标记空间以生成新的标记。同时,解码器的令人满意的解码上下文长度(我们使用大约 8K max-length)确保 GOT 可以有效地输出密集场景下的 OCR 结果

第三阶段:prompt微调

作为高交互特征,细粒度OCR是由空间坐标或颜色控制的区域级视觉感知。用户可以在问题提示中添加框坐标(框引导的 OCR)或颜色文本(颜色引导的 OCR),以请求感兴趣区域 (RoI) 内的识别,避免其他不相关字符的输出

2.4 实验结果

  1. open-source Fox benchmark上的结果
  2. 论文中效果图

3. other

  • 核心就是一个encoder+decoder模式的ocr,这和最开始的end2end ocr的核心是一样的,只是以前是用cnn+transformer,或者transformer+transformer,现在encoder,decoder都用了更大的模型,更多的数据。
相关推荐
OCR的搬砖小能手19 小时前
浅析OCR技术与大模型的深度融合—中安未来OCR产品优势及前景探索
ocr
shuxunAPI19 小时前
驾驶证 OCR 识别 API 接口出现的背景原因有哪些?
云计算·ocr·api·驾驶证ocr识别
OCR的搬砖小能手19 小时前
光学字符识别(OCR)技术:数字化浪潮中的关键力量
人工智能·计算机视觉·ocr
mingupup19 小时前
VLM-OCR-Demo:一个使用VLM用于OCR任务的示例
ocr
坐井观老天1 天前
如何使用LEADTOOLS创建.NET Core跨平台OCR应用程序
c#·ocr·.netcore
思通数科大数据舆情5 天前
减少30%人工处理时间,AI OCR与表格识别助力医疗化验单快速处理
大数据·人工智能·深度学习·目标检测·计算机视觉·自然语言处理·ocr
shuxunAPI5 天前
驾驶证 OCR 识别 API 接口用Java如何调用
java·云计算·ocr·api
心若向阳,必生温暖。7 天前
opencv&ocr识别手机摄像头拍摄的指定区域文字,文字符合规则就语音报警
opencv·智能手机·ocr
shuxunAPI8 天前
身份证 OCR 识别 API 接口的应用场景
云计算·ocr·api·csdn开发云