Open X-Embodiment Robotic Learning Datasets and RT-X Models

文章目录

简介

为什么机器人技术远远落后于 NLP、视觉和其他 AI 领域?除其他困难外,数据短缺是罪魁祸首。谷歌 DeepMind 联合其他机构推出了 Open X-Embodiment 数据集 ,并训练出了能力更强的 RT-X 模型

DeepMind 在过去一段时间汇集了来自 22 种不同机器人类型的数据,以创建 Open X-Embodiment 数据集,然后在之前的模型(RT-1 和 RT-2)的基础上,训练出了能力更强的 RT-X(分别为 RT-1-X 和 RT-2-X)。

他们在五个不同的研究实验室测试了 RT-1-X 模型,结果显示,与针对每个机器人独立开发的方法相比,新方法在五种不同的常用机器人中平均成功率提高了 50%。他们还表明,在上述数据集上训练的 RT-2-X 在现实世界机器人技能上的表现提高了 2 倍,而且,通过学习新数据,RT-2-X 掌握了很多新技能。这项工作表明,在来自多个机器人类型数据上训练的单个模型比在来自单个机器人类型数据上训练的模型在多个机器人上的性能要好得多。

目前,Open X-Embodiment 数据集和 RT-1-X 模型检查点已经对广泛的研究社区开放。

论文链接

https://robotics-transformer-x.github.io/paper.pdf

项目链接

https://robotics-transformer-x.github.io/

Reference

https://www.deepmind.com/blog/scaling-up-learning-across-many-different-robot-types

相关推荐
某林2121 小时前
ROS2 机器人底盘调试避坑指南:从 `/odom` 丢失到彻底跑通的硬核排障实录
stm32·机器人·人机交互
才兄说3 小时前
机器人二次开发机器狗巡检?低电量自主回充
机器人
啵啵鱼爱吃小猫咪3 小时前
示教学习强化学习用的标准数据集
机器人·强化学习·示教学习
硅谷秋水4 小时前
Qwen-VLA:跨任务、环境与机器人形态的视觉-语言-动作统一建模
人工智能·深度学习·算法·计算机视觉·语言模型·机器人
叶子Talk6 小时前
COMPTUEX炸场:OpenAI杀入机器人,英特尔288核CPU首秀
机器人
J_Xiong01177 小时前
【WAM篇】21:RIGVid——让机器人“照着 AI 生成的视频“干活,零演示、零训练
机器人·wam
ZPC82107 小时前
前馈补偿原理 + 分类 + 公式 + 工程实现(配合 PID 使用,从根源减轻闭环收敛压力)
人工智能·分布式·机器人
沫儿笙7 小时前
新能源汽车焊接智能节气装置
人工智能·机器人·汽车
J_Xiong01178 小时前
【WAM篇】22:ARDuP——让视频世界模型“盯紧任务相关区域“再行动
机器人·wam