PaLM-E: An Embodied Multimodal Language Model

发表时间:arXiv 6 Mar 2023

作者单位:Robotics at Google

**Motivation:**大型语言模型已被证明可以执行复杂的任务。然而,在现实世界中启用一般推理,例如对于机器人问题,提出了落地的挑战。

**解决方法:**提出了具身语言模型PaLM-E,将现实世界的连续传感器模式直接合并到语言模型中,从而建立单词和感知之间的联系。

实现方式: 具身语言模型的输入是多模态句子,交织视觉、连续状态估计和文本输入编码 。端到端地训练这些编码,以及预训练的大型语言模型,用于包括顺序机器人操作规划、视觉问答和字幕在内的多个具身任务。

输入: PaLM-E 对多模态句子进行操作,即来自任意模态(例如图像、神经 3D 表示或状态,绿色和蓝色)的输入与文本标记(橙色)一起插入作为 LLM 的输入,端到端训练。

图像和状态估计 等输入被嵌入到与语言标记相同的潜在嵌入中,并由基于 Transformer 的 LLM 的自注意力层以与文本相同的方式进行处理。

把各个模态的数据,都转化为与 language tokens 相同维度的embedding。

对不同模态数据的处理:

  1. **对状态估计向量。**状态向量,例如来自机器人或对象的状态估计,可能是输入到 PaLM-E 的最简单。设 s ∈ RS 是一个描述场景中对象状态的向量。例如,s 可以包含这些对象的姿势、大小、颜色等。然后,MLP 将 s 映射到语言嵌入空间中。

  2. 对2D图像: 使用ViT.注意,ViT 嵌入的维度 ̃k 不一定与语言模型的维度相同。还可以通过后边的仿射变换改变它的维度.同时使用了Object-centric representations. We therefore also explore structured encoders that aim to separate visual inputs into distinct objects before injecting them into the LLM。也就是将图像表示分为不同的object。

  3. 对3D场景表示: 3D-aware Object Scene Representation Transformer (OSRT),OSRT learns 3D-centric neural scene representations on in-domain data through a novel view synthesis task.

结构: PaLM-E 是一个仅 decoder LLM,它在给定前缀或提示的情况下自回归生成文本补全。我们称我们的模型 PaLM-E。

输出: PaLM-E 的输出是由模型自回归生成的文本,可以是问题的答案,也可以是 PaLM-E 以文本形式产生的一系列决策,这些决策应该由机器人执行。即输出的是high-level的规划。 训练方式: Most of our architectures consist of three parts, an encoder ̃φ, a projector ψ, and the LLM 。LLM是被冻住的,only update the small projector ψ。

Co-training across tasks: 在我们的实验中,我们研究了协同训练我们的模型对各种不同数据的影响。主要由来自各种任务的一组不同的互联网规模的视觉和语言数据组成。设置采样频率,使得只有 8.9% 的完整混合是具身任务,for each embodiment有几个任务。----作者发现使用这种Co-training的方式会带来性能的提升。

实验:在仿真和两个不同的真实机器人中,考虑三种不同机器人实施例的不同机器人(移动)操作任务。

结论: 多种任务:standard visual-language tasks such as VQA and image captioning, as well as language tasks. 我们的结果表明,与单个任务的训练模型相比,多任务训练提高了性能。这种跨任务的转移可能导致机器人任务的数据效率很高,例如,从少数训练示例中显著增加学习成功,甚至展示了对未见过对象的新组合的单镜头或零镜头泛化。

最大的模型 PaLM-E-562B 展示了诸如多模态思维推理链和对多个图像进行推理的能力等突出能力,尽管仅在单图像提示上进行训练

**总结:是一个大脑,没有小脑。输出的是high-level的任务规划。**如:第一步。。。第二步。。。

相关推荐
白-胖-子7 分钟前
深入剖析大模型在文本生成式 AI 产品架构中的核心地位
人工智能·架构
想要成为计算机高手1 小时前
11. isaacsim4.2教程-Transform 树与Odometry
人工智能·机器人·自动驾驶·ros·rviz·isaac sim·仿真环境
静心问道2 小时前
InstructBLIP:通过指令微调迈向通用视觉-语言模型
人工智能·多模态·ai技术应用
宇称不守恒4.02 小时前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
小楓12013 小时前
醫護行業在未來會被AI淘汰嗎?
人工智能·醫療·護理·職業
数据与人工智能律师3 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
chenchihwen3 小时前
大模型应用班-第2课 DeepSeek使用与提示词工程课程重点 学习ollama 安装 用deepseek-r1:1.5b 分析PDF 内容
人工智能·学习
说私域3 小时前
公域流量向私域流量转化策略研究——基于开源AI智能客服、AI智能名片与S2B2C商城小程序的融合应用
人工智能·小程序
Java樱木3 小时前
AI 编程工具 Trae 重要的升级。。。
人工智能
凪卄12134 小时前
图像预处理 二
人工智能·python·深度学习·计算机视觉·pycharm