Google Gemma :一个足够小在笔记本电脑上运行的AI模型

Gemma 介绍

2024年2月21日,Google发布了最新的开放模型Gemma。是其为推动AI创新的开发者和研究者社区而构建的。Gemma 模型与Gemini共享技术和基础设施组件。并且其设计以Google人工智能原则 为核心。

Google Gemma的两个版本:

  • 20亿参数:这个版本非常适合资源有限的用户,仍然能够执行许多任务。
  • 70亿参数:这个版本的性能更好,但运行所需的资源更多。

Gemma的特性

  • 开源:任何人都可以免费访问和使用代码,这鼓励了AI领域的研究和开发。
  • 轻量级:与其他LLM(如我)相比,Gemma模型更小,运行所需资源更少,使其适合计算能力有限的笔记本电脑和云环境。
  • 最先进的:尽管规模较小,Gemma模型仍然可以执行广泛的任务,包括文本生成、翻译、回答问题和代码补全。
  • 安全且负责任:Google已经采取措施确保Gemma模型的使用是安全和负责任的,包括从训练集中过滤出敏感数据,并对滥用进行防范。

运行条件

Gemma 可部署运行在GPU和Google 的TPU(tensor processing unit 张量处理器)上。对于部署在GPU上:

  • 对于Gemma 7B模型,在非量化下,理论需要7B*4字节=28G 的显存
  • 对于Gemma 2B模型,在非量化下,理论需要2B*4字节= 8G 的显存

Gemma 的应用

  • 聊天机器人:Gemma可以用来创建能以自然方式与用户进行对话的聊天机器人。
  • 内容生成:Gemma可以用来生成不同的创意文本格式,如诗歌、代码、剧本、音乐作品、电子邮件、信件等。
  • 研究和开发:研究人员可以使用Gemma来试验LLM的新想法和应用。

NVIDIA 硬件加速Gemma

使用NVIDIA 和Google 两家公司的团队紧密合作,使用NVIDIA TensorRT-LLM(一个用于优化大型语言模型推理的开源库)加速Gemma的性能,Gemma是由用于创建Gemini模型的相同研究和技术构建的,当在数据中心、云端以及装有NVIDIA RTX GPU的PC上运行时。这使得开发者可以针对全球高性能AI PC中超过1亿台可用的NVIDIA RTX GPU的已安装基础。

并且Gemma即将与RTX聊天 即将为Gemma提供支持的是RTX聊天,这是一个NVIDIA的技术演示,它使用检索增强生成和TensorRT-LLM软件,让用户在他们的本地、由RTX驱动的Windows PC上获得生成AI的能力。

相关推荐
慕婉03071 分钟前
深度学习中的常见损失函数详解及PyTorch实现
人工智能·pytorch·深度学习
神经星星9 分钟前
在线教程丨一句话精准P图,FLUX.1 Kontext可实现图像编辑/风格迁移/文本编辑/角色一致性编辑
人工智能·深度学习·机器学习
UQI-LIUWJ16 分钟前
论文略读:Prefix-Tuning: Optimizing Continuous Prompts for Generation
人工智能·深度学习
机器之心34 分钟前
是的,LeCun要向28岁的Alexandr Wang汇报!这是Meta新AI团队的一些独家内部消息
人工智能
iThinkAi智能体1 小时前
最新Coze(扣子)智能体工作流:1分钟生成10个爆款认知觉醒视频,无需写文案剪辑
aigc
189228048611 小时前
NW710NW713美光固态闪存NW719NW720
大数据·服务器·网络·人工智能·科技
azoo1 小时前
Canny边缘检测(cv2.Canny())
人工智能·opencv·计算机视觉
向哆哆1 小时前
YOLO在自动驾驶交通标志识别中的应用与优化【附代码】
人工智能·深度学习·yolo·自动驾驶·yolov8
硬核隔壁老王1 小时前
AI大模型从入门到精通系列教程(二):解锁Prompt Engineering——从原理到高阶技巧的AI交互指南
人工智能·程序员·llm
聚客AI1 小时前
搜索引擎vs向量数据库:LangChain混合检索架构实战解析
人工智能·pytorch·语言模型·自然语言处理·数据分析·gpt-3·文心一言