专业级模型 GLM-OCR

智谱宣布正式发布并开源一款轻量的专业级 OCR 模型 GLM-OCR,主打"小尺寸、高精度"。其核心亮点如下

  • 性能SOTA:以94.6分登顶OmniDocBench V1.5,并在公式识别、表格识别、信息抽取的多项主流基准中均取得SOTA表现;
  • 场景优化:专攻真实业务痛点,在手写体、复杂表格、代码文档及印章等高难场景中表现稳健;
  • 推理高效:仅0.9B参数规模,支持vLLM、SGLang和Ollama部署,显著降低推理延迟与算力开销,适合高并发与边缘部署;
  • 开源易用:同步开源完整SDK与推理工具链,环境依赖简单,支持一行命令快速调用,轻松接入现有业务系统。

根据介绍,GLM-OCR参数量仅0.9B,但在权威文档解析榜单OmniDocBench V1.5中以94.6分取得SOTA性能。在文本、公式、表格识别及信息抽取四大细分领域的表现优于多款OCR专项模型,性能接近Gemini-3-Pro。

项目团队还针对真实业务中的六大核心场景进行了内部测评。结果显示,GLM-OCR在代码文档、真实场景表格、手写体、多语言、印章识别、票据提取等维度均取得显著优势

在实际应用中,GLM-OCR能够精准解析扫描件、PDF、表格及票据,有效解决手写、印章、竖排及多语言混排难题,在复杂版式下依然保持极高的准确率和鲁棒性。

  • 通用文本识别:GLM-OCR支持照片、截图、扫描件、文档输入,能够识别手写体、印章、代码等特殊文字,可广泛应用于教育、科研、办公等场景。
  • 复杂表格解析:针对合并单元格、多层表头等复杂结构,模型能精准理解并直接输出HTML代码。无需二次制表,识别结果即可用于网页展示或数据处理,大幅提升表格录入与转换效率。
  • 信息结构化提取:GLM-OCR可从各类卡证、票据、表格中智能提取关键字段,并输出标准的JSON格式,无缝对接银行、保险及物流等行业系统。
  • 批量处理与RAG支持:GLM-OCR支持大批量文档的识别与解析,其高精度的识别能力和规整的输出格式,可为检索增强生成(RAG)提供坚实基础。

速度方面,其对比了在相同硬件环境与测试条件下(单副本,单并发),分别以图像文件和PDF文件为输入,不同OCR方法完成解析并导出Markdown文件的速度差异。结果显示,GLM-OCR处理PDF文档的吞吐量达1.86页/秒,图片达0.67张/秒,速度显著优于同类模型。

技术细节

在训练策略方面,GLM-OCR率先将多Tokens预测损失(MTP)引入OCR模型训练过程,以增强损失信号密度并提升模型学习效率。并且,通过持续且稳定的全任务强化学习训练,能够显著提升模型在复杂文档场景下的整体识别精度与泛化能力。

上述性能提升还得益于GLM-OCR在多模态模型结构上的系统性设计。模型整体采用"编码器-解码器"架构,继承自GLM-V系列,由视觉编码器(ViT)、跨模态连接层和语言解码器三大核心模块组成。其中,视觉侧集成了自研的CogViT视觉编码器(400M参数),并在数十亿级图文对数据上引入CLIP策略进行大规模预训练,使模型具备了强大的文字与版面语义理解能力。

为实现视觉与语言信息的高效融合,GLM-OCR设计了一套轻量而高效的连接层结构,融合SwiGLU机制并引入4倍下采样策略,能够精准筛选并保留关键视觉 Token,将高密度语义信息高效传递至后端的GLM-0.5B解码器,从而支撑高精度的OCR识别输出。

在整体系统层面,GLM-OCR采用"版面分析→并行识别"的两阶段技术范式。其中,版面分析模块基于PP-DocLayout-V3实现,能够在版式多样、结构复杂的文档场景下实现稳定、高质量且高效率的OCR解析效果。

相关推荐
语戚1 天前
Stable Diffusion 入门:架构、空间与生成流程概览
人工智能·ai·stable diffusion·aigc·模型
AI人工智能+2 天前
智能文档抽取系统:结合OCR与大语言模型(LLM),高效处理非结构化文档
人工智能·计算机视觉·语言模型·自然语言处理·ocr·文档抽取
xuedeyumu3 天前
Paddle ocr基本识别
ocr·paddle
handsomestWei4 天前
百度飞桨PaddleOCR图片印章检测技术简介
人工智能·百度·ocr·paddlepaddle·红色印章
stereohomology5 天前
光荣梦想:大模型图片OCR中文识别对比 Qwen3.6plus强
ocr
测试开发技术5 天前
自动生成用例:基于OCR+ LLM的设计方案(附落地指南)
自动化测试·软件测试·自动化·llm·ocr·测试用例·用例自动生成
weixin_408099676 天前
OCR 在线识别 + API 接口实战:从网页验证到系统集成
图像处理·人工智能·后端·ocr·api·图片文字识别·文字识别
weixin_408099676 天前
身份证正反面合并+识别OCR接口调用
java·人工智能·后端·python·ocr·api·身份证ocr
AI人工智能+7 天前
施工许可证识别技术:深度融合计算机视觉(CV)与自然语言处理(NLP)
深度学习·计算机视觉·ocr·施工许可证识别
果粒蹬i7 天前
自用超半年的免费 OCR 工具分享:告别付费,本地搭建更安心
前端·网络·ocr