OCR（传统光学字符识别）技术自上世纪80年代以来，长期依赖基于规则或CNN的传统方法，如 Tesseract和早期PaddleOCR。这类技术在简单文本提取上表现尚可，但面对复杂布局、多语言、手写体或表格，准确率通常在85-95%之间，且需多模块串联，部署复杂、泛化能力不足。2024-2025年，行业正加速转向LLM（大语言模型）驱动的范式，尤其是多模态视觉-语言模型（VLMs）。这一转变由需求、技术成熟与商业驱动共同推动。根据2025年Q1行业报告，80-90%的企业数据为非结构化文档，OCR正从"单纯识别"转向"语义理解+结构化输出"。PaddleOCR-VL、DeepSeek-OCR、dots.ocr、Nanonets-OCR2-3B及MinerU 2.5成为这一趋势的代表。
转型驱动力：需求、技术与商业的协同作用
-
需求驱动：非结构化数据激增
企业80-90%的数据为图像、PDF等非结构化形式（如发票、合同、报告）。传统OCR在复杂场景下表现不佳，而LLM通过上下文理解实现"智能提取"，不仅识别文字，还能解析结构、意图和语义。例如，LLM可区分"O"与"0"，或从模糊扫描件中推断缺失信息。2025年及以后，文档AI市场非常广阔，这些需求集中在RAG处理节点中高效的"图像转
Markdown/JSON"能力。 -
技术突破：VLMs的感知与推理融合
传统OCR局限于"感知"，缺乏"推理"。VLMs（如GPT-4o、Qwen2.5-VL）通过视觉编码器（CLIP/SAM）+语言解码器，实现端到端处理，直接从图像生成结构化输出。关键优势包括：
- 高效压缩：视觉令牌将长文档压缩10-20倍，97%精度下每页仅需100-200令牌。
- 泛化能力强：支持100+语言、手写、公式和图表，准确率达98-99%。
- 混合架构 ：OCR+LLM后处理有效降低幻觉问题。
2025年，VLMs如Gemini Flash在OCR基准测试中速度超传统引擎3倍。
-
商业价值：低成本、高效率
LLM范式简化开发，提示工程取代复杂微调，部署成本降至传统OCR的1/3。单台A100 GPU日处理20万页，适合中小企业。开源模型（如Hugging Face生态）推动快速迭代，商业模式从云服务延伸至本地部署，满足隐私合规需求。X社区很多用户反馈以及结合自己的实际体验而言，LLM-OCR在KYC（身份信息自动化采集）、发票处理中ROI提升2-5倍。
传统OCR在低质量输入下准确率常低于75%，已触及天花板，而LLM通过端到端理解直接生成JSON或者Markdown，极大拓展了AI的应用场景。
代表模型对比：五款LLM-OCR的创新与应用
以下基于2025年截至10月报告及官方文档，梳理五款模型的参数规模、核心创新、性能、最小化部署资源与适用场景。最小化部署资源聚焦于最低硬件门槛（如GPU架构/VRAM），以支持本地推理（量化版可进一步降低需求）。数据来源于官方GitHub、Hugging Face及vLLM文档。
| 模型名称 | 参数规模 | 核心创新 | 性能（OmniDocBench等） | 最小化部署资源 | 适用场景 |
|---|---|---|---|---|---|
| PaddleOCR-VL | 0.9B | NaViT动态分辨率+ERNIE-4.5，端到端解析文本/表格/公式，109语言。 | 布局识别超GPT-4o，90.67分。 | CPU（PaddlePaddle ≥8.5）；vLLM ≥8.0（RTX 3060/5070/A10/A100，8GB+ VRAM）；SGLang ≥8.0 <12.0；7.0 ≤ Compute Capability <8.0（T4/V100）支持但易OOM/超时，不推荐。 | CPU速度较慢，且分为俩阶段，第一阶段依赖 layout模型，第二阶段才是LLMOCR |
| DeepSeek-OCR | 3B | 光学上下文压缩+MoE解码，10倍压缩97%精度，处理图表/公式。 | 比GOT-OCR2.0少60倍令牌，超快。 | 单GPU ≥8GB VRAM（如RTX 3060/3080/4070）；推荐RTX 4090（24GB）或A100（40GB+）；量化（4-bit）可降至6-8GB。 | 长文档、实时OCR（如金融报表）。MIT许可，vLLM支持。 |
| dots.ocr | 1.7B | 统一布局与内容识别，提示切换任务，100+语言。 | 文本/表格/公式SOTA，媲美Gemini。 | vLLM ≥8GB VRAM（如RTX 3060+）；Turing架构（RTX 20系列）支持但易OOM/错误；推荐RTX 4090（24GB）。 | 多语言布局解析，轻量高效，优于DocLayout-YOLO。开源，vLLM支持。 |
| Nanonets-OCR2-3B | 3B | Qwen2.5-VL微调，图像转Markdown/JSON，支持手写/复选框。 | 结构输出超Donut，Gemini级。 | vLLM ≥8GB VRAM（如RTX 3060/4090）；BF16精度，device_map="auto"；量化版（4-bit）支持6-8GB。 | 发票自动化、本地部署，幻觉少。开源，Ollama量化版可用。 |
| MinerU 2.5 | 1.2B | 全流程VLM，84语言，Markdown/JSON输出。 | 综合精度超Gemini/GPT-4o。 | vLLM ≥8GB VRAM，Turing架构+（RTX 2060+）；峰值可达20-25GB（多页文档）；CPU支持但慢。 | 复杂PDF转换（如科学文献），高吞吐，vLLM加速。开源，Hugging Face/ModelScope。 |
这些模型参数在1-3B之间，性能达SOTA水平，单GPU日处理量达数十万页。DeepSeek-OCR的压缩技术得到大众的高度评价，PaddleOCR-VL和MinerU 2.5专注多语言，dots.ocr简化流程，Nanonets优化结构化输出。最小化部署资源强调vLLM框架的应用，进一步降低门槛至消费级硬件。
最后LLM-OCR不可避免的问题
- 幻觉与隐私：LLM偶现虚构内容（概率<5%），需后处理验证。本地部署（如vLLM）成为敏感文档处理主流。
- 计算门槛：GPU需求较高，但GGUF量化版正降低成本。
- 标准完善：OmniDocBench需扩展手写及低资源语言测试。
LLM-OCR深度融入RAG和Agent工作流以及各行业后，OCR领域将是翻天覆地的变化，这一转型不仅是技术升级，更是AI从工具向智能伙伴的跃迁，需求、技术与商业的共振，正开启OCR新篇章。