Open X-Embodiment Robotic Learning Datasets and RT-X Models

文章目录

简介

为什么机器人技术远远落后于 NLP、视觉和其他 AI 领域?除其他困难外,数据短缺是罪魁祸首。谷歌 DeepMind 联合其他机构推出了 Open X-Embodiment 数据集 ,并训练出了能力更强的 RT-X 模型

DeepMind 在过去一段时间汇集了来自 22 种不同机器人类型的数据,以创建 Open X-Embodiment 数据集,然后在之前的模型(RT-1 和 RT-2)的基础上,训练出了能力更强的 RT-X(分别为 RT-1-X 和 RT-2-X)。

他们在五个不同的研究实验室测试了 RT-1-X 模型,结果显示,与针对每个机器人独立开发的方法相比,新方法在五种不同的常用机器人中平均成功率提高了 50%。他们还表明,在上述数据集上训练的 RT-2-X 在现实世界机器人技能上的表现提高了 2 倍,而且,通过学习新数据,RT-2-X 掌握了很多新技能。这项工作表明,在来自多个机器人类型数据上训练的单个模型比在来自单个机器人类型数据上训练的模型在多个机器人上的性能要好得多。

目前,Open X-Embodiment 数据集和 RT-1-X 模型检查点已经对广泛的研究社区开放。

论文链接

https://robotics-transformer-x.github.io/paper.pdf

项目链接

https://robotics-transformer-x.github.io/

Reference

https://www.deepmind.com/blog/scaling-up-learning-across-many-different-robot-types

相关推荐
星汇极客7 小时前
【星汇极客】单片机竞赛之2024睿抗机器人大赛-火线速递赛道(持续更新)
stm32·单片机·嵌入式硬件·机器人
云卓科技20 小时前
无人机之数据提取篇
科技·安全·机器人·无人机·制造
悲欢唯谁懂1 天前
FANUC机器人—PCDK
机器人
kuan_li_lyg1 天前
MATLAB - 机械臂手眼标定(眼在手内) - 估计安装在机器人上的移动相机的姿态
开发语言·人工智能·matlab·机器人·ros·机械臂·手眼标定
kuan_li_lyg1 天前
MATLAB - 机械臂手眼标定(眼在手外) - 估算固定相机相对于机器人基座的姿态
开发语言·人工智能·matlab·机器人·ros·机械臂·手眼标定
xwz小王子1 天前
CoRL 2024 麻省理工学院提出T3触觉Transformer,打破触觉感知的壁垒,重塑未来机器人
深度学习·机器人·transformer
敢敢のwings2 天前
经典文献阅读之--WiROS(用于机器人的WiFi感知工具箱)
机器人
black_blank2 天前
机器人跳跃问题
数据结构·算法·机器人
热心市民R先生2 天前
ros2 colcon build 构建后,install中的local_setup.bash 和setup.bash有什么区别
开发语言·机器人·bash
云卓科技3 天前
无人机之编队控制篇
科技·安全·机器人·无人机·制造