Google发布Gemma 3 多模态多语言大模型

传送锚点

Google正式推出Gemma家族的最新力作Gemma 3,这标志着开源AI领域又一次重要突破。Gemma 3不仅继承了前代模型的优秀基因,更在多模态理解、多语言支持以及超长上下文处理方面实现了飞跃,为开发者和研究者提供了前所未有的强大工具。

Gemma 3核心亮点

Gemma 3系列模型提供了10亿、40亿、120亿及270亿参数四种规模,以满足不同应用场景的需求。其中,40亿、120亿和270亿参数的模型首次实现了多模态功能,能够同时处理图像和文本输入,而10亿参数版本则专注于纯文本处理。

该系列模型的上下文窗口长度显著提升,10亿参数版本支持32k tokens,其余版本更是达到了惊人的128k tokens。这意味着Gemma 3能够理解和生成更长的复杂内容,极大地扩展了其在文档分析、长篇对话等领域的应用潜力。此外,40亿、120亿和270亿参数的模型还支持超过140种语言,展现出卓越的全球化适应能力。

技术革新深度解析

Gemma 3的核心能力提升得益于一系列精妙的技术创新。

长上下文处理 为了实现128k tokens的超长上下文,Google优化了模型的预训练策略,在不从头训练的情况下,将部分模型从32k序列高效扩展至128k。这包括将旋转位置编码RoPE的基频从Gemma 2的10k提升到1M,并按8倍因子进行缩放。KV缓存管理也进行了优化,采用了Gemma 2的滑动窗口交错注意力机制,将局部层与全局层的交错比例调整为5比1,并将窗口大小缩减至1024 tokens,在节省内存的同时保持了性能。

多模态融合 Gemma 3采用SigLIP作为图像编码器,将图像转化为语言模型可处理的tokens。其输入图像固定为896x896像素。为应对非方形或高分辨率图像,模型在推理时引入了"pan and scan"算法,通过自适应裁剪图片区域,实现了对图像细节的更精细捕捉。

在注意力机制方面,Gemma 3对文本输入采用单向注意力,而图像输入则采用无掩码的双向注意力,确保对视觉内容的全面理解。

多语言能力增强 为增强多语言覆盖,Gemma 3的预训练数据集将多语言数据量翻倍。同时,采用了与Gemini 2.0相同的SentencePiece分词器,包含26.2万词条。此分词器显著改进了中文、日文和韩文文本的编码效率,即使英语和代码的token计数略有增加,整体收益也十分可观。

性能表现与未来展望

在LMSys Chatbot Arena的Elo评分中,Gemma 3 27B IT模型取得了1339分的成绩,位列前十,其表现与o1-preview相当,并超越了其他非思维链的开源模型。值得一提的是,Gemma-3-4B-IT的性能超越了前代Gemma-2-27B IT,而Gemma-3-27B-IT在多项基准测试中甚至击败了闭源模型Gemini 1.5-Pro。这充分展示了Gemma 3在推理、数学和多模态能力上的强大实力,同时作为开源模型,其开放性使得先进AI技术更加触手可及。

Hugging Face平台已对Gemma 3提供全面支持,用户可以在Hugging Face Hub上找到所有模型变体,并利用transformers库进行快速推理。此外,模型还支持MLX用于Apple Silicon设备以及llama.cpp的GGUF文件,方便在低资源设备上部署。Hugging Face Endpoints也提供了一键部署选项,加速了Gemma 3的应用落地。

这份发布不仅是Google在开源AI领域的又一重磅贡献,更是推动通用人工智能技术普惠化的重要一步。Gemma 3的出现,无疑将激发更多创新应用,加速AI技术在各行各业的融合与发展。

相关推荐
字节跳动视频云技术团队23 分钟前
接大模型别再自己配 Key、搭代理了,火山引擎 IGA Pages 一步搞定
人工智能
阿里云大数据AI技术1 小时前
EMR Serverless StarRocks 产品介绍:从统一 OLAP 走向多模态分析与检索
人工智能
Forget the Dream2 小时前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai
郝学胜-神的一滴2 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib
火山引擎开发者社区2 小时前
豆包工作,3 个月,800 万,20 亿
人工智能
Chuck.li2 小时前
AI 长篇创作工具选型:工作流对照与自测清单
人工智能·大模型·ai写作·网文作者·ai网文·豆包写作
aleimu3 小时前
Windows 11 右键打开 Cmder 2.0:从找不到菜单到默认使用 Cmder
前端·人工智能·后端
SwanArc技术笔记3 小时前
读技术文档,先用哪个 AI?模型指南筛选与 GPT-6.2 Astra 实操
人工智能
深海鱼在掘金3 小时前
深入浅出RAG——第21章:回顾与展望
人工智能
羲云网络3 小时前
GPT Image 2.6 GIF 交付排障:上线后为什么只剩第一帧?
图像处理·人工智能·前端开发·gif