开源的7B参数OCR视觉大模型:RolmOCR

1. 背景介绍

早些时候,Allen Institute for AI 发布了 olmOCR ,这是一个基于 Qwen2-VL-7B 视觉语言模型(VLM)的开源工具,用于处理 PDF 和其他复杂文档的 OCR(光学字符识别)。开发团队对该工具的高质量和开源特性感到兴奋,并探索了如何利用更新的基础模型和一些轻量级优化来进一步改进它。

2. RolmOCR 的发布

开发团队开发了 RolmOCR ,作为 olmOCR 的替代方案。它具有以下特点:

  • 更快:处理速度更快。
  • 内存占用更低:减少了显存和内存的使用。
  • 兼容性广:在多种文档类型上表现良好。

RolmOCR 基于 Qwen/Qwen2.5-VL-7B-Instruct 模型,并在 allenai/olmOCR-mix-0225 数据集上进行了微调。开发团队将其开源,采用 Apache 2.0 许可证,供任何人试用、探索或进一步开发。

3. 关键改进

开发团队在 olmOCR 的基础上进行了以下三项关键改进:

3.1 新基础模型

开发团队使用了更近期的 Qwen2.5-VL-7B 模型作为基础,替换了原来的模型。

3.2 不使用元数据输入

olmOCR 不同,开发团队不再使用从 PDF 中提取的元数据。这一改进显著减少了提示(prompt)的长度,从而降低了处理时间和显存占用,同时在大多数情况下保持了准确性。

3.3 数据集旋转

开发团队对训练数据进行了约 15% 的旋转处理,以增强模型对倾斜文档的鲁棒性。其他训练数据保持不变。

4. 使用方法

4.1 部署模型

开发团队建议使用 vLLM 部署 RolmOCR

python 复制代码
export VLLM_USE_V1=1
vllm serve reducto/RolmOCR

5. 局限性

尽管 RolmOCR 在 OCR 方面表现出色,但它仍存在以下局限性:

  • 幻觉或内容丢失 :与其他基于 VLM 的 OCR 解决方案类似,RolmOCR 可能会出现幻觉(生成不存在的内容)或遗漏部分内容。

  • 无布局边界框输出 :与 Reducto Parsing API 不同,RolmOCR 无法输出文档的布局边界框。

  • 未评估量化版本 :开发团队尚未对 RolmOCR 的量化版本进行性能评估。

相关推荐
张较瘦_8 分钟前
[论文阅读] 人工智能 + 软件工程 | 需求获取访谈中LLM生成跟进问题研究:来龙去脉与创新突破
论文阅读·人工智能
一 铭1 小时前
AI领域新趋势:从提示(Prompt)工程到上下文(Context)工程
人工智能·语言模型·大模型·llm·prompt
麻雀无能为力5 小时前
CAU数据挖掘实验 表分析数据插件
人工智能·数据挖掘·中国农业大学
时序之心5 小时前
时空数据挖掘五大革新方向详解篇!
人工智能·数据挖掘·论文·时间序列
.30-06Springfield5 小时前
人工智能概念之七:集成学习思想(Bagging、Boosting、Stacking)
人工智能·算法·机器学习·集成学习
说私域6 小时前
基于开源AI智能名片链动2+1模式S2B2C商城小程序的超级文化符号构建路径研究
人工智能·小程序·开源
永洪科技6 小时前
永洪科技荣获商业智能品牌影响力奖,全力打造”AI+决策”引擎
大数据·人工智能·科技·数据分析·数据可视化·bi
shangyingying_16 小时前
关于小波降噪、小波增强、小波去雾的原理区分
人工智能·深度学习·计算机视觉
书玮嘎7 小时前
【WIP】【VLA&VLM——InternVL系列】
人工智能·深度学习
猫头虎8 小时前
猫头虎 AI工具分享:一个网页抓取、结构化数据提取、网页爬取、浏览器自动化操作工具:Hyperbrowser MCP
运维·人工智能·gpt·开源·自动化·文心一言·ai编程