Google Gemma :一个足够小在笔记本电脑上运行的AI模型

Gemma 介绍

2024年2月21日,Google发布了最新的开放模型Gemma。是其为推动AI创新的开发者和研究者社区而构建的。Gemma 模型与Gemini共享技术和基础设施组件。并且其设计以Google人工智能原则 为核心。

Google Gemma的两个版本:

  • 20亿参数:这个版本非常适合资源有限的用户,仍然能够执行许多任务。
  • 70亿参数:这个版本的性能更好,但运行所需的资源更多。

Gemma的特性

  • 开源:任何人都可以免费访问和使用代码,这鼓励了AI领域的研究和开发。
  • 轻量级:与其他LLM(如我)相比,Gemma模型更小,运行所需资源更少,使其适合计算能力有限的笔记本电脑和云环境。
  • 最先进的:尽管规模较小,Gemma模型仍然可以执行广泛的任务,包括文本生成、翻译、回答问题和代码补全。
  • 安全且负责任:Google已经采取措施确保Gemma模型的使用是安全和负责任的,包括从训练集中过滤出敏感数据,并对滥用进行防范。

运行条件

Gemma 可部署运行在GPU和Google 的TPU(tensor processing unit 张量处理器)上。对于部署在GPU上:

  • 对于Gemma 7B模型,在非量化下,理论需要7B*4字节=28G 的显存
  • 对于Gemma 2B模型,在非量化下,理论需要2B*4字节= 8G 的显存

Gemma 的应用

  • 聊天机器人:Gemma可以用来创建能以自然方式与用户进行对话的聊天机器人。
  • 内容生成:Gemma可以用来生成不同的创意文本格式,如诗歌、代码、剧本、音乐作品、电子邮件、信件等。
  • 研究和开发:研究人员可以使用Gemma来试验LLM的新想法和应用。

NVIDIA 硬件加速Gemma

使用NVIDIA 和Google 两家公司的团队紧密合作,使用NVIDIA TensorRT-LLM(一个用于优化大型语言模型推理的开源库)加速Gemma的性能,Gemma是由用于创建Gemini模型的相同研究和技术构建的,当在数据中心、云端以及装有NVIDIA RTX GPU的PC上运行时。这使得开发者可以针对全球高性能AI PC中超过1亿台可用的NVIDIA RTX GPU的已安装基础。

并且Gemma即将与RTX聊天 即将为Gemma提供支持的是RTX聊天,这是一个NVIDIA的技术演示,它使用检索增强生成和TensorRT-LLM软件,让用户在他们的本地、由RTX驱动的Windows PC上获得生成AI的能力。

相关推荐
高压锅_12206 分钟前
Cursor+Coze+微信小程序实战: AI春联生成器
人工智能·微信小程序·notepad++
XiaoQiong.Zhang6 分钟前
数据分析框架和方法
人工智能
TY-202516 分钟前
三、神经网络——网络优化方法
人工智能·深度学习·神经网络
Jamence23 分钟前
多模态大语言模型arxiv论文略读(156)
论文阅读·人工智能·语言模型·自然语言处理·论文笔记
哔哩哔哩技术26 分钟前
IndexTTS2:用极致表现力颠覆听觉体验
人工智能
redreamSo32 分钟前
AI Daily | AI日报:AI浏览器混战,Chrome地位受挑战; 研究:AI让资深开发者编程变慢19%; 华人女记者深扒OpenAI数据盗窃黑幕
程序员·aigc·资讯
GengMS_DEV37 分钟前
使用开源kkfileview实现电子档案文件的万能预览/水印等功能
人工智能
程序员X小鹿39 分钟前
豆包又一个新功能,超级实用,4 种玩法,你肯定用得上!(建议收藏)
aigc
纪伊路上盛名在1 小时前
(鱼书)深度学习入门1:python入门
人工智能·python·深度学习