自从最近微软凭借OpenAI
和ChatGPT火了一把之后呢
老对手Google就总想着扳回一局
之前发布了硬刚ChatGPT的Bard
但是没想到翻车了
弄巧成拙
所以呢Google这一周又发了个大招
发布了史上最大的视觉语言模型PaLM-E
这个模型有多夸张呢
参数量高达5,620亿
是ChatGTP-3的三倍
这个模型结合了5,400亿参数的PaML模型
以及220亿参数的ViT模型
不仅可以理解图像
还能理解和生成语言
执行各种复杂的机器人指令
而且重点是无需重新训练
PaLM-E可以直接分析
来自机器人摄像头的数据
无需对场景进行预处理
而且实验结果证明
模型的正迁移能力也相当强大
接下来我们看几个PaLM-E的demo视频
相信你一定会有通用AI
很快就要到来的感觉
第一个demo
是基于机器人摄像头的视觉反馈
任务是从抽屉里把薯片拿给我
注意这个过程中还加入了对抗性干扰
即便实验人员多次移动薯片
机器人仍然能够重新抓取
而且最后还把抽屉给合上了
并且把薯片交给实验人员
注意这个视频是4倍速播放的
所以实际的速度应该并不快
第二个demo
是让机器人把绿色的星星拿过来
这个绿色的星星
是机器人之前没有直接接触过的物体
第三个demo
是让机器人按照不同的颜色
将积木块放到不同的
角落
可以看到
机器人可以很好的规划
和执行长期任务
并且详细分解说明了
机器人的每个步骤是如何规划的
这个demo是让机器人将剩余的积木块
移到已有的积木组中
PaLM-E会将它分解成多个低级的策略
比如将黄色六边形移动到绿色心形旁
和把蓝色三角形移动到积木组中
而下一个demo
是让机器人
将海洋色的积木块放到一起
可以看到
机器人也可以准确识别出
蓝色的积木块
最后
实验人员还演示了两个泛化的示例
一个是将红色积木块推到咖啡杯中
这个数据集
只包含了3个带有咖啡杯的演示数据
并且没有一个含有红色的积木块
另一个示例
是让机器人将绿色的积木块推给乌龟
即使机器人以前从来没有见过乌龟
它也能够成功的执行任务
在零样本推理方面
PaLM-E可以在给定图像的情况下
讲一个笑话
并展示了包括感知
基于视觉的对话和规划在内的能力
对于多张图的关系
PaLM-E也整的很明白
比如图1中的哪个物品在图2中没有
PaLM-E还可以
在给定带有手写数字的图像后
执行数学运算
比如对于这张餐馆手写的菜单
PaLM-E可以直接算出
两张披萨需要多少钱
谷歌的研究人员计划未来将探索PaLM-E
在现实世界中的更多应用
例如家庭自动化或者工业机器人
也希望PaLM-E
能够激发更多关于多模态AI的应用
