Hello Robot创新突破!Stretch3机器人搭载RUMs模型实现未知环境中“即插即用”

"无需环境适配、无需代码修改,Hello Robot发布的Robot Utility Models(RUMs)技术,正在重新定义机器人应用边界。通过5大类1000+真实场景训练数据,这套模型已实现在陌生环境中90%的任务成功率,标志着机器人从「专用设备」向「通用智能体」的重要跨越。"

Stretch 3是Hello Robot推出的一款轻便移动操作机器人,以其出色的灵活性和适应性受到关注。结合RUMs技术,Stretch 3移动操作机器人能够在不同环境下高效完成多种任务,无需额外的数据集或再训练过程。Stretch 3的这种能力不仅展示了机器人技术的发展潜力,也为多个行业带来了新的机遇。

解锁Haply精准三维力反馈交互!Inverse3三轴力反馈控制器在外科手术模拟与机器人遥操作中大放异彩。

🌟RUMs 模型:零样本部署的核心引擎

由纽约大学等机构联合研发的Robot Utility Models (RUMs),通过多模态模仿学习与外部大模型验证,实现了90%的跨环境任务成功率。无需额外数据或训练,即可直接部署于新场景,涵盖开门、取物、物品复位等五大核心功能。

复制代码
视频中,机器人就像拥有了"自我纠错"能力,当任务失败,它会把观测总结"告诉"多模态大语言模型,模型判断失败后,机器人便自动重置到初始状态,再次勇敢尝试。

RUMs技术:零样本部署的技术亮点
零样本泛化:通过36个环境、5,509 条轨迹训练,模型可直接适应未见过的物体与环境。

多模态融合 :结合RGB 视觉、机械臂位姿数据与大模型决策,提升复杂场景应对能力。
硬件兼容性:支持 Stretch3、xArm 等多平台,通过标准化夹具实现快速适配。

应用场景示例

厨房场景:自动打开微波炉 / 抽屉,拾取纸巾、纸袋等异形物体。

家庭清洁:扶起倾倒的花瓶、整理散落物品。

**辅助养老:**精准操作电器开关,完成轻量级搬运任务。

未来展望:机器人技术的无限可能

RUMs技术不仅提高了机器人的适应性和效率,还为机器人技术的广泛应用铺平了道路。随着技术的不断进步,我们有理由相信,机器人将成为未来生活和工作的核心力量。

引用链接

论文链接:《Robot Utility Models: General Policies for Zero-Shot Deployment》

https://robotutilitymodels.com/dataset
开源数据集:5 任务180环境训练数据

https://robotutilitymodels.com/dataset
GitHub 代码:RUMs 算法实现

https://arxiv.org/abs/2409.05865

相关推荐
mwq301236 小时前
Transformer : 深度神经网络中的残差连接 (Residual Connection)
人工智能
信田君95276 小时前
瑞莎星瑞(Radxa Orion O6) 基于 Android OS 使用 NPU的图片模糊查找APP 开发
android·人工智能·深度学习·神经网络
StarPrayers.6 小时前
卷积神经网络(CNN)入门实践及Sequential 容器封装
人工智能·pytorch·神经网络·cnn
周末程序猿6 小时前
谈谈上下文工程(Context Engineering)
人工智能
一水鉴天6 小时前
整体设计 逻辑系统程序 之29 拼语言+ CNN 框架核心定位、三阶段程序与三种交换模式配套的方案讨论 之2
人工智能·神经网络·cnn
海森大数据6 小时前
AI破解数学界遗忘谜题:GPT-5重新发现尘封二十年的埃尔德什问题解法
人工智能·gpt
数智顾问7 小时前
基于深度学习的卫星图像分类(Kaggle比赛实战)——从数据预处理到模型调优的全流程解析
深度学习
望获linux7 小时前
【实时Linux实战系列】Linux 内核的实时组调度(Real-Time Group Scheduling)
java·linux·服务器·前端·数据库·人工智能·深度学习
程序员大雄学编程7 小时前
「深度学习笔记4」深度学习优化算法完全指南:从梯度下降到Adam的实战详解
笔记·深度学习·算法·机器学习