Google Gemma :一个足够小在笔记本电脑上运行的AI模型

Gemma 介绍

2024年2月21日,Google发布了最新的开放模型Gemma。是其为推动AI创新的开发者和研究者社区而构建的。Gemma 模型与Gemini共享技术和基础设施组件。并且其设计以Google人工智能原则 为核心。

Google Gemma的两个版本:

  • 20亿参数:这个版本非常适合资源有限的用户,仍然能够执行许多任务。
  • 70亿参数:这个版本的性能更好,但运行所需的资源更多。

Gemma的特性

  • 开源:任何人都可以免费访问和使用代码,这鼓励了AI领域的研究和开发。
  • 轻量级:与其他LLM(如我)相比,Gemma模型更小,运行所需资源更少,使其适合计算能力有限的笔记本电脑和云环境。
  • 最先进的:尽管规模较小,Gemma模型仍然可以执行广泛的任务,包括文本生成、翻译、回答问题和代码补全。
  • 安全且负责任:Google已经采取措施确保Gemma模型的使用是安全和负责任的,包括从训练集中过滤出敏感数据,并对滥用进行防范。

运行条件

Gemma 可部署运行在GPU和Google 的TPU(tensor processing unit 张量处理器)上。对于部署在GPU上:

  • 对于Gemma 7B模型,在非量化下,理论需要7B*4字节=28G 的显存
  • 对于Gemma 2B模型,在非量化下,理论需要2B*4字节= 8G 的显存

Gemma 的应用

  • 聊天机器人:Gemma可以用来创建能以自然方式与用户进行对话的聊天机器人。
  • 内容生成:Gemma可以用来生成不同的创意文本格式,如诗歌、代码、剧本、音乐作品、电子邮件、信件等。
  • 研究和开发:研究人员可以使用Gemma来试验LLM的新想法和应用。

NVIDIA 硬件加速Gemma

使用NVIDIA 和Google 两家公司的团队紧密合作,使用NVIDIA TensorRT-LLM(一个用于优化大型语言模型推理的开源库)加速Gemma的性能,Gemma是由用于创建Gemini模型的相同研究和技术构建的,当在数据中心、云端以及装有NVIDIA RTX GPU的PC上运行时。这使得开发者可以针对全球高性能AI PC中超过1亿台可用的NVIDIA RTX GPU的已安装基础。

并且Gemma即将与RTX聊天 即将为Gemma提供支持的是RTX聊天,这是一个NVIDIA的技术演示,它使用检索增强生成和TensorRT-LLM软件,让用户在他们的本地、由RTX驱动的Windows PC上获得生成AI的能力。

相关推荐
win4r25 分钟前
🔥超越cursor!Cline+Context7 MCP文档搜索功能高级用法!自定义指令+.clinerules轻松开启vibe coding!零代码构建Au
aigc·openai·cline
白熊18827 分钟前
【计算机视觉】CV实战项目 - 基于YOLOv5的人脸检测与关键点定位系统深度解析
人工智能·yolo·计算机视觉
nenchoumi311929 分钟前
VLA 论文精读(十六)FP3: A 3D Foundation Policy for Robotic Manipulation
论文阅读·人工智能·笔记·学习·vln
后端小肥肠39 分钟前
文案号搞钱潜规则:日入四位数的Coze工作流我跑通了
人工智能·coze
LCHub低代码社区41 分钟前
钧瓷产业原始创新的许昌共识:技术破壁·产业再造·生态重构(一)
大数据·人工智能·维格云·ai智能体·ai自动化·大禹智库·钧瓷码
-曾牛41 分钟前
Spring AI 快速入门:从环境搭建到核心组件集成
java·人工智能·spring·ai·大模型·spring ai·开发环境搭建
阿川20151 小时前
云智融合普惠大模型AI,政务服务重构数智化路径
人工智能·华为云·政务·deepseek
自由鬼1 小时前
开源AI开发工具:OpenAI Codex CLI
人工智能·ai·开源·软件构建·开源软件·个人开发
生信碱移1 小时前
大语言模型时代,单细胞注释也需要集思广益(mLLMCelltype)
人工智能·经验分享·深度学习·语言模型·自然语言处理·数据挖掘·数据可视化
一个数据大开发2 小时前
解读《数据资产质量评估实施规则》:企业数据资产认证落地的关键指南
大数据·数据库·人工智能