李飞飞团队「具身智能」最新研究:机器人接手所有家务

李飞飞「具身智能」又出新研究了。

「机器人学习领域中的一个『圣杯』级挑战是执行通用的日常家庭移动操作任务。借助一款新型双臂移动机器人,我们的最新成果 ------BEHAVIOR Robot Suite(简称 BRS)正在尝试攻克这一极为困难且尚未解决的难题!」

视频详情

对于问题 2:JoyLo 能够为策略学习提供高质量的数据

研究团队对 10 名参与者进行了全面的用户研究,以评估 JoyLo 的效果及其收集数据对策略学习的适用性。下图为将 JoyLo 与 VR 控制器和 Apple Vision Pro 进行比较。

效率优势:

  • JoyLo 整体任务成功率是 VR 控制器的 5 倍(Apple Vision Pro 无人完成全任务);

  • 中位完成时间较 VR 控制器缩短 23%;

  • 在铰接物体操作等精细任务中表现突出。

用户研究结果(10 名参与者)。

用户体验:

  • 所有参与者最终评价 JoyLo 为最友好交互;

  • 70% 用户最初认为 IK 更直观,但实操后偏好逆转;

  • 用户反馈 IK 方法在移动底座 / 躯干控制上存在显著困难。

用户研究参与者的人口统计数据和调查结果。

对于问题 3:WB-VIMA 始终优于基线方法

实验显示,WB-VIMA 在所有任务中全面超越基准方法:端到端任务成功率比 DP3 高 13 倍,比 RGB-DP 高 21 倍;平均子任务表现分别优于 DP3(1.6 倍)和 RGB-DP(3.4 倍)。

五项代表性家庭活动的成功率。「ET」表示整个任务,「ST」表示子任务。

评估期间的安全违规情况。WB-VIMA 与环境物体的碰撞极少,且几乎不会因施加过度力量而导致电机失去动力。

对于问题 4:WB-VIMA 组件对任务性能的影响

研究团队针对 WB-VIMA 展开消融实验,分别移除自回归全身动作去噪和多模态观察注意力机制模块。实验表明,任一组件缺失均导致性能显著下降:在「将物品放上架子」及「整理衣物」任务的「打开衣柜」子任务中,移除自回归去噪模块使成功率骤降 53%;而多模态注意力机制缺失则全面削弱各任务表现。

「放置物品到架子上」和「铺展衣物」任务的消融实验结果。

最后,研究团队还展示了几个失败案例。包括:

  1. 尽管机器人已经抓住把手,但未能完全打开洗碗机;

  2. 未能按下冲水按钮;

  3. 未能从地板上拾起垃圾袋;

  4. 未能抬起地上的箱子;

  5. 未能关闭衣柜门。

了解更多内容,请查看原论文。

相关推荐
chh5634 小时前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert
TomEval4 小时前
【测AI】第26篇:线上模型监控与告警体系 — 测试不是终点
人工智能·python·功能测试·ai
ZhengEnCi5 小时前
AI 总模仿代码库里的过时写法怎么办:先清坏样例,再用类型与测试让 AI 无法犯错
人工智能·ai编程
码事漫谈5 小时前
以后人人都可以成为导演
后端
Resean02235 小时前
Spring 源码分析(二)配置类的解析与扫描
java·后端·spring
一只爱撸猫的程序猿5 小时前
五周、两个开源仓库、九次拦截之后:AI 时代程序员缺的到底是什么
人工智能·后端·开源
GitCode官方6 小时前
开源鸿蒙跨平台直播|AI 时代,用 cj-tauri 开发鸿蒙 PC 应用
人工智能·华为·harmonyos·atomgit
老金带你玩AI6 小时前
GPT-6.2更强更便宜了,为什么还有人骂?
人工智能
CyrusYiVPP6 小时前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python
泯泷7 小时前
OpenClaw 退潮背后,是 AI 圈“技术自嗨”的终结
人工智能·chatgpt·llm