Hello Robot创新突破!Stretch3机器人搭载RUMs模型实现未知环境中“即插即用”

"无需环境适配、无需代码修改,Hello Robot发布的Robot Utility Models(RUMs)技术,正在重新定义机器人应用边界。通过5大类1000+真实场景训练数据,这套模型已实现在陌生环境中90%的任务成功率,标志着机器人从「专用设备」向「通用智能体」的重要跨越。"

Stretch 3是Hello Robot推出的一款轻便移动操作机器人,以其出色的灵活性和适应性受到关注。结合RUMs技术,Stretch 3移动操作机器人能够在不同环境下高效完成多种任务,无需额外的数据集或再训练过程。Stretch 3的这种能力不仅展示了机器人技术的发展潜力,也为多个行业带来了新的机遇。

解锁Haply精准三维力反馈交互!Inverse3三轴力反馈控制器在外科手术模拟与机器人遥操作中大放异彩。

🌟RUMs 模型:零样本部署的核心引擎

由纽约大学等机构联合研发的Robot Utility Models (RUMs),通过多模态模仿学习与外部大模型验证,实现了90%的跨环境任务成功率。无需额外数据或训练,即可直接部署于新场景,涵盖开门、取物、物品复位等五大核心功能。

复制代码
视频中,机器人就像拥有了"自我纠错"能力,当任务失败,它会把观测总结"告诉"多模态大语言模型,模型判断失败后,机器人便自动重置到初始状态,再次勇敢尝试。

RUMs技术:零样本部署的技术亮点
零样本泛化:通过36个环境、5,509 条轨迹训练,模型可直接适应未见过的物体与环境。

多模态融合 :结合RGB 视觉、机械臂位姿数据与大模型决策,提升复杂场景应对能力。
硬件兼容性:支持 Stretch3、xArm 等多平台,通过标准化夹具实现快速适配。

应用场景示例

厨房场景:自动打开微波炉 / 抽屉,拾取纸巾、纸袋等异形物体。

家庭清洁:扶起倾倒的花瓶、整理散落物品。

**辅助养老:**精准操作电器开关,完成轻量级搬运任务。

未来展望:机器人技术的无限可能

RUMs技术不仅提高了机器人的适应性和效率,还为机器人技术的广泛应用铺平了道路。随着技术的不断进步,我们有理由相信,机器人将成为未来生活和工作的核心力量。

引用链接

论文链接:《Robot Utility Models: General Policies for Zero-Shot Deployment》

https://robotutilitymodels.com/dataset
开源数据集:5 任务180环境训练数据

https://robotutilitymodels.com/dataset
GitHub 代码:RUMs 算法实现

https://arxiv.org/abs/2409.05865

相关推荐
汽车仪器仪表相关领域1 分钟前
NHXJ-02汽车悬架检验台 实操型实战手册
人工智能·功能测试·测试工具·算法·安全·单元测试·可用性测试
枫叶林FYL2 分钟前
【Python高级工程与架构实战】项目四 现代ETL编排平台:Airflow + dbt + Snowflake 企业级数据管道架构与实现
人工智能·python·架构·etl
AI服务老曹2 分钟前
异构计算与边缘协同:基于 Spring Boot 的 AI 视频管理平台架构深度解析
人工智能·spring boot·音视频
源码之屋3 分钟前
计算机毕业设计:Python天气数据采集与可视化分析平台 Django框架 线性回归 数据分析 大数据 机器学习 大模型 气象数据(建议收藏)✅
人工智能·python·深度学习·算法·django·线性回归·课程设计
咕噜签名-铁蛋7 分钟前
Seedance 2.0公测API全面开放:无需排队过白,AI视频创作进入极速时代
人工智能·音视频
易基因科技7 分钟前
易基因:NC/IF15.7:浙江大学陈淑洁/王良静团队acRIP-seq等揭示ac4C RNA修饰调控肠道衰老及年龄相关肠道疾病发病机制
人工智能·科研·生物学·生信分析
鸿乃江边鸟7 分钟前
Nanobot 从 gateway 启动命令来看个人助理Agent的实现
人工智能·ai
大任视点10 分钟前
深耕AI短剧赛道!聿潇娱乐签约鹤砚声工作室 加速精品内容布局
人工智能
杜子不疼.10 分钟前
用 Python 实现 RAG:从文档加载到语义检索全流程
开发语言·人工智能·python
bryant_meng11 分钟前
【Reading Notes】(8.11)Favorite Articles from 2025 November
人工智能·深度学习·业界资讯