让机器人融入生活?GR-2让科幻电影场景成真

GR-2

在科幻电影中,我们经常能看到人类通过远程操控机器人完成各种复杂任务的场景。而今天,这样的科幻场景正在成为现实。随着字节跳动研究团队最新推出的第二代机器人大模型GR-2(Generative Robot 2.0)的问世,我们离梦想中的未来又近了一步。

GR-2

GR-2 介绍

GR-2是一种最先进的通用机器人代理,用于多功能和可通用的机器人操作。GR-2 首先在大量互联网视频上进行预训练,以捕捉世界动态。这种大规模的预训练涉及 3800 万个视频剪辑和超过 500 亿个代币,使 GR-2 能够在随后的策略学习中泛化到广泛的机器人任务和环境。

而且GR-2 对使用机器人轨迹的视频生成和动作预测进行了微调。它表现出令人印象深刻的多任务学习能力,在 97.7 多项任务中实现了 100% 的平均成功率。

此外,GR-2 展示了对新的、以前从未见过的场景的非凡泛化,包括新的背景、环境、对象和任务。值得注意的是,它可以有效地随模型大小扩展,突显了其持续增长和应用的潜力。

技术性突破

GR-2 训练过程展示

GR-2 的训练分为两个阶段:视频生成预训练和机器人数据微调。在预训练期间,我们在一个精心策划的大规模视频数据集上训练 GR-2 以生成视频,该数据集包含不同背景下的各种日常人类活动。通过掌握视频生成,GR-2 捕获了对下游策略学习至关重要的关键时间动态和语义信息。在微调过程中,我们根据机器人数据训练 GR-2 以协同预测动作轨迹和视频。

得益于新颖的模型架构,在预训练阶段收集的知识可以无损地转移到微调阶段。GR-2 与预训练数据中只有一个摄像头视图的视频不同,机器人数据通常包含多个视图。GR-2 旨在优雅地处理多个视图和在笛卡尔空间中生成动作轨迹。为了确保机械臂准确跟随轨迹,字节跳动团队开发了一种全身控制 (WBC) 算法,该算法采用轨迹优化进行运动跟踪。

GR-2 学习成功率

GR-2 能够以非常高的成功率完成 105 个操作任务,在训练过程中GR-2 展示了强大的多任务学习能力。开发团队还在具有挑战性的场景中评估了 GR-2,包括干扰物、看不见的背景、看不见的环境和看不见的操作。GR-2 可以处理干扰物并正确处理目标物体。它在看不见的背景和环境中实现了很高的成功率,展示了强大的泛化能力。

GR-2 还能够执行机器人训练数据中看不到的操作且还能有效地学习 105 个任务,并做到每个任务只需 50 个轨迹。这大大降低了在实际应用中获取新技能和适应新环境的成本。

实测展示

GR-2 实测效果展示

从官方给出的实机演示来看,GR-2 的性能十分不错,在视频中 GR-2 可以正确的读取使用者发出的指令,将栏中的所有物品放到另一个栏中。不仅如此,GR-2 还可以使用烤面包机烘烤面包、使用咖啡机泡咖啡等一系列的行动,使用场景可以说是非常广泛。

GR-2 实测效果展示

​GR-2的诞生,不仅仅是机器人技术的一次飞跃,更是人工智能与物理世界深度融合的里程碑。傅利叶创始人兼CEO顾捷表示:"我们的目标是为AI打造最佳具身载体。当人形机器人本体在各个维度都达到最优,它将成为AI的最佳具身选择。"

有关厚德云

厚德云致力于为用户提供稳定、可靠、易用、省钱的 GPU 算力解决方案。海量 GPU 算力资源租用,就在厚德云。

相关推荐
智慧化智能化数字化方案3 分钟前
69页全面预算管理体系的框架与落地【附全文阅读】
大数据·人工智能·全面预算管理·智慧财务·智慧预算
PyAIExplorer6 分钟前
图像旋转:从原理到 OpenCV 实践
人工智能·opencv·计算机视觉
Wilber的技术分享15 分钟前
【机器学习实战笔记 14】集成学习:XGBoost算法(一) 原理简介与快速应用
人工智能·笔记·算法·随机森林·机器学习·集成学习·xgboost
198920 分钟前
【零基础学AI】第26讲:循环神经网络(RNN)与LSTM - 文本生成
人工智能·python·rnn·神经网络·机器学习·tensorflow·lstm
burg_xun35 分钟前
【Vibe Coding 实战】我如何用 AI 把一张草图变成了能跑的应用
人工智能
酌沧1 小时前
AI做美观PPT:3步流程+工具测评+避坑指南
人工智能·powerpoint
狂师1 小时前
啥是AI Agent!2025年值得推荐入坑AI Agent的五大工具框架!(新手科普篇)
人工智能·后端·程序员
星辰大海的精灵1 小时前
使用Docker和Kubernetes部署机器学习模型
人工智能·后端·架构
victory04311 小时前
SpiceMix enables integrative single-cell spatial modeling of cell identity 文章解读
人工智能·深度学习
新智元1 小时前
半数清华,8 位华人 AI 天团集体投奔 Meta!奥特曼:砸钱抢人不如培养死忠
人工智能·openai