开源的7B参数OCR视觉大模型：RolmOCR

1. 背景介绍

早些时候，Allen Institute for AI 发布了 olmOCR ，这是一个基于 Qwen2-VL-7B 视觉语言模型（VLM）的开源工具，用于处理 PDF 和其他复杂文档的 OCR（光学字符识别）。开发团队对该工具的高质量和开源特性感到兴奋，并探索了如何利用更新的基础模型和一些轻量级优化来进一步改进它。

2. RolmOCR 的发布

开发团队开发了 RolmOCR ，作为 olmOCR 的替代方案。它具有以下特点：

更快：处理速度更快。
内存占用更低：减少了显存和内存的使用。
兼容性广：在多种文档类型上表现良好。

RolmOCR 基于 Qwen/Qwen2.5-VL-7B-Instruct 模型，并在 allenai/olmOCR-mix-0225 数据集上进行了微调。开发团队将其开源，采用 Apache 2.0 许可证，供任何人试用、探索或进一步开发。

3. 关键改进

开发团队在 olmOCR 的基础上进行了以下三项关键改进：

3.1 新基础模型

开发团队使用了更近期的 Qwen2.5-VL-7B 模型作为基础，替换了原来的模型。

3.2 不使用元数据输入

与 olmOCR 不同，开发团队不再使用从 PDF 中提取的元数据。这一改进显著减少了提示（prompt）的长度，从而降低了处理时间和显存占用，同时在大多数情况下保持了准确性。

3.3 数据集旋转

开发团队对训练数据进行了约 15% 的旋转处理，以增强模型对倾斜文档的鲁棒性。其他训练数据保持不变。

4. 使用方法

4.1 部署模型

开发团队建议使用 vLLM 部署 RolmOCR：

python 复制代码

export VLLM_USE_V1=1
vllm serve reducto/RolmOCR

5. 局限性

尽管 RolmOCR 在 OCR 方面表现出色，但它仍存在以下局限性：

幻觉或内容丢失 ：与其他基于 VLM 的 OCR 解决方案类似，RolmOCR 可能会出现幻觉（生成不存在的内容）或遗漏部分内容。
无布局边界框输出 ：与 Reducto Parsing API 不同，RolmOCR 无法输出文档的布局边界框。
未评估量化版本 ：开发团队尚未对 RolmOCR 的量化版本进行性能评估。