开源的7B参数OCR视觉大模型:RolmOCR

1. 背景介绍

早些时候,Allen Institute for AI 发布了 olmOCR ,这是一个基于 Qwen2-VL-7B 视觉语言模型(VLM)的开源工具,用于处理 PDF 和其他复杂文档的 OCR(光学字符识别)。开发团队对该工具的高质量和开源特性感到兴奋,并探索了如何利用更新的基础模型和一些轻量级优化来进一步改进它。

2. RolmOCR 的发布

开发团队开发了 RolmOCR ,作为 olmOCR 的替代方案。它具有以下特点:

  • 更快:处理速度更快。
  • 内存占用更低:减少了显存和内存的使用。
  • 兼容性广:在多种文档类型上表现良好。

RolmOCR 基于 Qwen/Qwen2.5-VL-7B-Instruct 模型,并在 allenai/olmOCR-mix-0225 数据集上进行了微调。开发团队将其开源,采用 Apache 2.0 许可证,供任何人试用、探索或进一步开发。

3. 关键改进

开发团队在 olmOCR 的基础上进行了以下三项关键改进:

3.1 新基础模型

开发团队使用了更近期的 Qwen2.5-VL-7B 模型作为基础,替换了原来的模型。

3.2 不使用元数据输入

olmOCR 不同,开发团队不再使用从 PDF 中提取的元数据。这一改进显著减少了提示(prompt)的长度,从而降低了处理时间和显存占用,同时在大多数情况下保持了准确性。

3.3 数据集旋转

开发团队对训练数据进行了约 15% 的旋转处理,以增强模型对倾斜文档的鲁棒性。其他训练数据保持不变。

4. 使用方法

4.1 部署模型

开发团队建议使用 vLLM 部署 RolmOCR

python 复制代码
export VLLM_USE_V1=1
vllm serve reducto/RolmOCR

5. 局限性

尽管 RolmOCR 在 OCR 方面表现出色,但它仍存在以下局限性:

  • 幻觉或内容丢失 :与其他基于 VLM 的 OCR 解决方案类似,RolmOCR 可能会出现幻觉(生成不存在的内容)或遗漏部分内容。

  • 无布局边界框输出 :与 Reducto Parsing API 不同,RolmOCR 无法输出文档的布局边界框。

  • 未评估量化版本 :开发团队尚未对 RolmOCR 的量化版本进行性能评估。

相关推荐
许泽宇的技术分享6 分钟前
Windows MCP.Net:解锁AI助手的Windows桌面自动化潜能
人工智能·windows·.net·mcp
从后端到QT11 分钟前
大语言模型本地部署之转录文本总结
人工智能·语言模型·自然语言处理
AI新兵15 分钟前
AI大事记13:GPT 与 BERT 的范式之争(上)
人工智能·gpt·bert
文火冰糖的硅基工坊16 分钟前
[人工智能-大模型-43]:模型层技术 - 强化学学习:学习的目标、收敛条件、评估依据、应用到的模型、应用场景 - 通俗易懂。
人工智能·学习
Fibocom广和通23 分钟前
禾赛科技与广和通战略合作,联合推出机器人解决方案加速具身智能商业化落地
人工智能
飞哥数智坊24 分钟前
Claude Skills 自定义实战:提炼会议纪要并推送企业微信
人工智能·claude·chatglm (智谱)
柱子jason28 分钟前
我的第一个开源项目【IOT-Tree Server】
物联网·开源·iiot·iot-tree
golang学习记29 分钟前
性能飙升4倍,苹果刚发布的M5给人看呆了
人工智能·后端
golang学习记31 分钟前
快手推出AI编程IDE:自主编程时代已来!
人工智能
皮皮学姐分享-ppx34 分钟前
上市公司CEO IT背景数据(2007-2024)
大数据·人工智能·经验分享·科技·区块链