专业级模型 GLM-OCR

智谱宣布正式发布并开源一款轻量的专业级 OCR 模型 GLM-OCR,主打"小尺寸、高精度"。其核心亮点如下

  • 性能SOTA:以94.6分登顶OmniDocBench V1.5,并在公式识别、表格识别、信息抽取的多项主流基准中均取得SOTA表现;
  • 场景优化:专攻真实业务痛点,在手写体、复杂表格、代码文档及印章等高难场景中表现稳健;
  • 推理高效:仅0.9B参数规模,支持vLLM、SGLang和Ollama部署,显著降低推理延迟与算力开销,适合高并发与边缘部署;
  • 开源易用:同步开源完整SDK与推理工具链,环境依赖简单,支持一行命令快速调用,轻松接入现有业务系统。

根据介绍,GLM-OCR参数量仅0.9B,但在权威文档解析榜单OmniDocBench V1.5中以94.6分取得SOTA性能。在文本、公式、表格识别及信息抽取四大细分领域的表现优于多款OCR专项模型,性能接近Gemini-3-Pro。

项目团队还针对真实业务中的六大核心场景进行了内部测评。结果显示,GLM-OCR在代码文档、真实场景表格、手写体、多语言、印章识别、票据提取等维度均取得显著优势

在实际应用中,GLM-OCR能够精准解析扫描件、PDF、表格及票据,有效解决手写、印章、竖排及多语言混排难题,在复杂版式下依然保持极高的准确率和鲁棒性。

  • 通用文本识别:GLM-OCR支持照片、截图、扫描件、文档输入,能够识别手写体、印章、代码等特殊文字,可广泛应用于教育、科研、办公等场景。
  • 复杂表格解析:针对合并单元格、多层表头等复杂结构,模型能精准理解并直接输出HTML代码。无需二次制表,识别结果即可用于网页展示或数据处理,大幅提升表格录入与转换效率。
  • 信息结构化提取:GLM-OCR可从各类卡证、票据、表格中智能提取关键字段,并输出标准的JSON格式,无缝对接银行、保险及物流等行业系统。
  • 批量处理与RAG支持:GLM-OCR支持大批量文档的识别与解析,其高精度的识别能力和规整的输出格式,可为检索增强生成(RAG)提供坚实基础。

速度方面,其对比了在相同硬件环境与测试条件下(单副本,单并发),分别以图像文件和PDF文件为输入,不同OCR方法完成解析并导出Markdown文件的速度差异。结果显示,GLM-OCR处理PDF文档的吞吐量达1.86页/秒,图片达0.67张/秒,速度显著优于同类模型。

技术细节

在训练策略方面,GLM-OCR率先将多Tokens预测损失(MTP)引入OCR模型训练过程,以增强损失信号密度并提升模型学习效率。并且,通过持续且稳定的全任务强化学习训练,能够显著提升模型在复杂文档场景下的整体识别精度与泛化能力。

上述性能提升还得益于GLM-OCR在多模态模型结构上的系统性设计。模型整体采用"编码器-解码器"架构,继承自GLM-V系列,由视觉编码器(ViT)、跨模态连接层和语言解码器三大核心模块组成。其中,视觉侧集成了自研的CogViT视觉编码器(400M参数),并在数十亿级图文对数据上引入CLIP策略进行大规模预训练,使模型具备了强大的文字与版面语义理解能力。

为实现视觉与语言信息的高效融合,GLM-OCR设计了一套轻量而高效的连接层结构,融合SwiGLU机制并引入4倍下采样策略,能够精准筛选并保留关键视觉 Token,将高密度语义信息高效传递至后端的GLM-0.5B解码器,从而支撑高精度的OCR识别输出。

在整体系统层面,GLM-OCR采用"版面分析→并行识别"的两阶段技术范式。其中,版面分析模块基于PP-DocLayout-V3实现,能够在版式多样、结构复杂的文档场景下实现稳定、高质量且高效率的OCR解析效果。

相关推荐
gis分享者13 天前
GPT-Image-2 图像生成模型新手实战指南
gpt·ai·image·模型·图像生成
Sour13 天前
PDF翻译卡住不动怎么办?扫描件、OCR 和大文件排查清单
前端·pdf·ocr
旗讯数字14 天前
旗讯 OCR 工业手写识别解决方案|破解车间纸质表单录入难题,加速生产数字化转型
大数据·ocr
XTIOT66614 天前
多形态护照 OCR 读取器传输机制、识别算法与行业落地技术对比
大数据·人工智能·嵌入式硬件·物联网·ocr
天天代码码天天14 天前
用 TensorRT 加速 PP-OCR:一套 C++ DLL + C# 调用的高性能 OCR 推理方案
c++·c#·ocr
2401_8856651914 天前
基于OpenCV的模板匹配OCR实战:银行卡与身份证数字识别完整教程
人工智能·python·opencv·计算机视觉·ocr
东集Seuic14 天前
食品标签新规 GB 7718-2025 倒计时:产线“首件检验”如何用东集小码哥CRUISE Ge2-M跑通 OCR 智能核对?
大数据·人工智能·ocr
小鹏linux14 天前
鸿蒙PC迁移:Tesseract OCR C++ 三方库鸿蒙适配全记录
c++·ocr·harmonyos
开开心心就好15 天前
自动生成小学数学题库支持导出Word
人工智能·安全·leetcode·贪心算法·ocr·音视频·语音识别
魔士于安15 天前
Shader forge技术美术专用
游戏·unity·游戏引擎·贴图·技术美术·模型