Google Gemma :一个足够小在笔记本电脑上运行的AI模型

Gemma 介绍

2024年2月21日,Google发布了最新的开放模型Gemma。是其为推动AI创新的开发者和研究者社区而构建的。Gemma 模型与Gemini共享技术和基础设施组件。并且其设计以Google人工智能原则 为核心。

Google Gemma的两个版本:

  • 20亿参数:这个版本非常适合资源有限的用户,仍然能够执行许多任务。
  • 70亿参数:这个版本的性能更好,但运行所需的资源更多。

Gemma的特性

  • 开源:任何人都可以免费访问和使用代码,这鼓励了AI领域的研究和开发。
  • 轻量级:与其他LLM(如我)相比,Gemma模型更小,运行所需资源更少,使其适合计算能力有限的笔记本电脑和云环境。
  • 最先进的:尽管规模较小,Gemma模型仍然可以执行广泛的任务,包括文本生成、翻译、回答问题和代码补全。
  • 安全且负责任:Google已经采取措施确保Gemma模型的使用是安全和负责任的,包括从训练集中过滤出敏感数据,并对滥用进行防范。

运行条件

Gemma 可部署运行在GPU和Google 的TPU(tensor processing unit 张量处理器)上。对于部署在GPU上:

  • 对于Gemma 7B模型,在非量化下,理论需要7B*4字节=28G 的显存
  • 对于Gemma 2B模型,在非量化下,理论需要2B*4字节= 8G 的显存

Gemma 的应用

  • 聊天机器人:Gemma可以用来创建能以自然方式与用户进行对话的聊天机器人。
  • 内容生成:Gemma可以用来生成不同的创意文本格式,如诗歌、代码、剧本、音乐作品、电子邮件、信件等。
  • 研究和开发:研究人员可以使用Gemma来试验LLM的新想法和应用。

NVIDIA 硬件加速Gemma

使用NVIDIA 和Google 两家公司的团队紧密合作,使用NVIDIA TensorRT-LLM(一个用于优化大型语言模型推理的开源库)加速Gemma的性能,Gemma是由用于创建Gemini模型的相同研究和技术构建的,当在数据中心、云端以及装有NVIDIA RTX GPU的PC上运行时。这使得开发者可以针对全球高性能AI PC中超过1亿台可用的NVIDIA RTX GPU的已安装基础。

并且Gemma即将与RTX聊天 即将为Gemma提供支持的是RTX聊天,这是一个NVIDIA的技术演示,它使用检索增强生成和TensorRT-LLM软件,让用户在他们的本地、由RTX驱动的Windows PC上获得生成AI的能力。

相关推荐
卧式纯绿7 分钟前
每日文献(八)——Part one
人工智能·yolo·目标检测·计算机视觉·目标跟踪·cnn
巷95513 分钟前
OpenCV图像形态学:原理、操作与应用详解
人工智能·opencv·计算机视觉
深蓝易网42 分钟前
为什么制造企业需要用MES管理系统升级改造车间
大数据·运维·人工智能·制造·devops
xiangzhihong81 小时前
Amodal3R ,南洋理工推出的 3D 生成模型
人工智能·深度学习·计算机视觉
狂奔solar1 小时前
diffusion-vas 提升遮挡区域的分割精度
人工智能·深度学习
资源大全免费分享1 小时前
MacOS 的 AI Agent 新星,本地沙盒驱动,解锁 macOS 操作新体验!
人工智能·macos·策略模式
跳跳糖炒酸奶2 小时前
第四章、Isaacsim在GUI中构建机器人(2):组装一个简单的机器人
人工智能·python·算法·ubuntu·机器人
AI.NET 极客圈2 小时前
AI与.NET技术实操系列(四):使用 Semantic Kernel 和 DeepSeek 构建AI应用
人工智能·.net
Debroon2 小时前
应华为 AI 医疗军团之战,各方动态和反应
人工智能·华为
俊哥V2 小时前
阿里通义千问发布全模态开源大模型Qwen2.5-Omni-7B
人工智能·ai