摘要
UC Berkeley 发布 Do as I Do 模仿学习框架，摆脱高价遥操作数据依赖，仅依靠普通网络短视频完成 4D 手物重建、动作重定向；在 UR3e 双臂协作机器人 + 多指灵巧手上完成 20 类日常精细任务真机验证，野外视频任务成功率由 25% 提升至 71%，提供低成本具身智能完整软硬件落地链路。
伯克利新作让UR双臂机器人"看片"学会做饭
一、 传统视频模仿机器人两大核心痛点
1.1 2D 视觉信息缺陷
单目 RGB 视频缺失深度、触觉信息，难以还原人手与物体三维交互。
1.2 人机结构差异
人手 21 自由度，与灵巧手关节构型不匹配，人类抓取动作无法直接复用。
伯克利采用模块化端到端方案，打通「野生视频→4D 手物轨迹→动力学重定向→UR 真机部署」全流程。
二、 两步核心算法架构
2.1 4D 手物重建模块：2D 视频还原三维动态交互
- 手部追踪：基于 HaWoR 模型稳定提取人手三维骨架；
- 时序物体跟踪（核心创新）：改造 SAM 3D 时序逻辑，固定物体外形逐帧预测 6D 位姿，搭配引导扩散模型，遮挡、模糊的网络视频也能输出连续轨迹；
- 尺度对齐：MoGe 尺度恢复 + 加权 SE (3) 聚类，校正物体真实姿态。
效果：在 DexYCB、HOI4D 数据集刷新物体跟踪 SOTA，遮挡场景轨迹稳定性显著优于 FoundationPose 基线。
2.2 动力学动作重定向：消除人机动作形态鸿沟
单纯几何映射会出现机械手穿模、抓取打滑，框架基于 MPPI 采样优化，在 MuJoCo Warp 仿真求解机器人控制指令，新增三项优化：
- 抓取预热区间，规避初始偏差抓空；
- 仿真叠加随机外力扰动，提升抓取抗干扰能力；
- 区分悬空 / 落地状态，约束抓放动作切换。
消融实验：野外视频重定向成功率 25%→71%；干净数据集可达 81%。
三、 UR3e 双臂真机落地硬件平台
3.1 实验硬件配置
双臂 UR3e 协作机器人 + 22 自由度 Sharpa Wave 多指灵巧手
3.2 UR 机器人适配具身实验核心优势
- 完善科研生态：原生兼容 MuJoCo、ROS，快速搭建数字孪生预演轨迹、规避碰撞；
- 高精度同步控制：50Hz 双臂同步控制，重复定位精度高，精准复现复杂协同动作；
- 开放底层扭矩接口：支持自定义柔顺控制，适配双手协同、高精度对位研究。
3.3 真机落地流程
数字孪生仿真校验 → 低速真机调试，稳定复现搅拌、倾倒、擦拭、书写、锤击等 20 类精细操作。
四、 总结与行业价值
Do as I Do 重构机器人训练数据获取方式，无需专业示教设备，海量免费互联网视频即可规模化生成可用机械臂操作轨迹。
UR 协作机器人凭借成熟生态、高精度控制与开放底层接口，成为算法从仿真走向实体硬件的标准化实验底座，大幅降低通用灵巧机器人研发门槛。
项目链接
项目官网：Do as I Do: Dexterous Manipulation Data from Everyday Human Videos
论文 arXiv：2606.19333 Do as I Do: Dexterous Manipulation Data from Everyday Human Videos
欢迎关注 "欣佰特科技 " ，持续为大家带来 "具身智能领域 "前沿技术及应用！详情可邮件咨询++++sales@cnbestec.com++++