专业级模型 GLM-OCR

智谱宣布正式发布并开源一款轻量的专业级 OCR 模型 GLM-OCR,主打"小尺寸、高精度"。其核心亮点如下

  • 性能SOTA:以94.6分登顶OmniDocBench V1.5,并在公式识别、表格识别、信息抽取的多项主流基准中均取得SOTA表现;
  • 场景优化:专攻真实业务痛点,在手写体、复杂表格、代码文档及印章等高难场景中表现稳健;
  • 推理高效:仅0.9B参数规模,支持vLLM、SGLang和Ollama部署,显著降低推理延迟与算力开销,适合高并发与边缘部署;
  • 开源易用:同步开源完整SDK与推理工具链,环境依赖简单,支持一行命令快速调用,轻松接入现有业务系统。

根据介绍,GLM-OCR参数量仅0.9B,但在权威文档解析榜单OmniDocBench V1.5中以94.6分取得SOTA性能。在文本、公式、表格识别及信息抽取四大细分领域的表现优于多款OCR专项模型,性能接近Gemini-3-Pro。

项目团队还针对真实业务中的六大核心场景进行了内部测评。结果显示,GLM-OCR在代码文档、真实场景表格、手写体、多语言、印章识别、票据提取等维度均取得显著优势

在实际应用中,GLM-OCR能够精准解析扫描件、PDF、表格及票据,有效解决手写、印章、竖排及多语言混排难题,在复杂版式下依然保持极高的准确率和鲁棒性。

  • 通用文本识别:GLM-OCR支持照片、截图、扫描件、文档输入,能够识别手写体、印章、代码等特殊文字,可广泛应用于教育、科研、办公等场景。
  • 复杂表格解析:针对合并单元格、多层表头等复杂结构,模型能精准理解并直接输出HTML代码。无需二次制表,识别结果即可用于网页展示或数据处理,大幅提升表格录入与转换效率。
  • 信息结构化提取:GLM-OCR可从各类卡证、票据、表格中智能提取关键字段,并输出标准的JSON格式,无缝对接银行、保险及物流等行业系统。
  • 批量处理与RAG支持:GLM-OCR支持大批量文档的识别与解析,其高精度的识别能力和规整的输出格式,可为检索增强生成(RAG)提供坚实基础。

速度方面,其对比了在相同硬件环境与测试条件下(单副本,单并发),分别以图像文件和PDF文件为输入,不同OCR方法完成解析并导出Markdown文件的速度差异。结果显示,GLM-OCR处理PDF文档的吞吐量达1.86页/秒,图片达0.67张/秒,速度显著优于同类模型。

技术细节

在训练策略方面,GLM-OCR率先将多Tokens预测损失(MTP)引入OCR模型训练过程,以增强损失信号密度并提升模型学习效率。并且,通过持续且稳定的全任务强化学习训练,能够显著提升模型在复杂文档场景下的整体识别精度与泛化能力。

上述性能提升还得益于GLM-OCR在多模态模型结构上的系统性设计。模型整体采用"编码器-解码器"架构,继承自GLM-V系列,由视觉编码器(ViT)、跨模态连接层和语言解码器三大核心模块组成。其中,视觉侧集成了自研的CogViT视觉编码器(400M参数),并在数十亿级图文对数据上引入CLIP策略进行大规模预训练,使模型具备了强大的文字与版面语义理解能力。

为实现视觉与语言信息的高效融合,GLM-OCR设计了一套轻量而高效的连接层结构,融合SwiGLU机制并引入4倍下采样策略,能够精准筛选并保留关键视觉 Token,将高密度语义信息高效传递至后端的GLM-0.5B解码器,从而支撑高精度的OCR识别输出。

在整体系统层面,GLM-OCR采用"版面分析→并行识别"的两阶段技术范式。其中,版面分析模块基于PP-DocLayout-V3实现,能够在版式多样、结构复杂的文档场景下实现稳定、高质量且高效率的OCR解析效果。

相关推荐
魔士于安7 小时前
Unity星球资源,八大星球,带fps显示
游戏·unity·游戏引擎·贴图·模型
张老师带你学8 小时前
unity资源,深空陨石,适合太空背景的游戏开发
游戏·unity·模型
一顿能吃五大海碗啊啊啊12 小时前
OCR大模型如何解决多页文档的问题
ocr·ocr大模型·ocr长文档·ocr大模型面试
专家大圣12 小时前
告别付费 OCR!PaddleOCR-VL + cpolar,打造专属便携识别工具✨
网络·ocr·内网穿透·cpolar
AI人工智能+12 小时前
网约车运输证识别技术:深度融合计算机视觉与自然语言处理技术,实现对运输证全字段的高精度定位、识别与结构化提取
深度学习·计算机视觉·ocr·网约车运输证识别
Pyeako12 小时前
基于Qt和PaddleOCR的工业视觉识别报警系统开发
人工智能·python·深度学习·数码相机·opencv·ocr·pyqt5
●VON13 小时前
旗舰基座大模型 MiMo-V2-Pro 初体验与实战指南
学习·小米·模型·von·mimo-v2-pro
guslegend1 天前
DeepSeek-OCR-2快速入门
ocr
hsling松子1 天前
基于 PaddleOCR-VL 与 PaddleFormers 的多模态文档解析微调项目
人工智能·计算机视觉·语言模型·自然语言处理·ocr
旗讯数字1 天前
智破纸质壁垒 赋能医药合规——旗讯数字医药注册批件纸质文档智能识别与结构化提取对接解决方案
数据结构·ocr·合规审查