跨本体策略迁移对照:Stretch 3移动操作机器人与franka机器人FR3(franka七自由度机械臂)实验解析

论文 Robot Self-Improvement via Human-Video Dynamics Models (arXiv:2606.21406)要解决的问题很直接:模仿学习通常只复刻单次成功演示,部署后遇到失败很难自我修复。作者提出 DGAC(Dynamics-Guided Action Correction,动力学引导动作修正),在不增加在线人工监督的前提下,把失败 rollout 转成下一轮策略更新的监督信号。

图1 人类视频预训练表征与迭代自改进闭环(来源:论文项目页)

第一步是人类视频预训练 :用 HOI4D、Arti4D、EgoDex 约百万级样本,联合训练策略 π、动力学 f、价值 V 三个具身无关 表征。视觉用 DINO-v3 token,几何用 TAPIP3D 点轨迹,动作编码为6-DoF位姿加夹爪闭合。第二步是真机适配:先自主探索采集,微调动力学与价值模型。第三步进入迭代闭环------DGAC 在失败状态采样候选动作块,动力学模型前向预测未来状态,价值模型按进度打分排序,最高分动作进入修复集,再做优势条件策略更新。

实验硬件分两类:移动操作侧为 Hello Robot Stretch 3 (stretch 3开源操作机器人 ),静态侧为 Franka Panda。stretch 3机器人 五任务平均成功率 Ours 85.3%(Expert BC 41.3%);π0.5 骨干上 SFT 62.7%→DGAC 88.0%;Panda 平均36.7%→70.0%。这套结果说明:人类视频先验负责开局,真机失败负责修正,二者叠加才是 scalable 的关键。

图2 DGAC 对候选动作块预测未来并由价值模型排序(来源:论文 Figure 3)

工程复现对底座有明确要求:需要可导航的移动底盘、头部与指尖两路深度感知、开放的ROS 2 /Python 栈用于接入自定义策略与动力学。同类课题可选用 stretch 3 或新一代 stretch 4移动操作机器人 (stretch 4开源操作机器人 ,全向底座、360°双半球3D LiDAR、自充电、8小时轻载续航);静态力控实验可用 franka机器人fr3 (fr3机器人 ,franka七自由度机械臂,7关节力矩传感器、1kHz 控制)做接触丰富任务。

对算法团队而言,hello robot机器人 路线的价值在于把精力集中在策略与世界模型,而不是从零造底盘;7dof开源移动操作机器人 的开放接口也便于做遥操作 示教与数据采集 。franka科研 场景则适合做柔顺、力控与低层运动控制对照实验。

图3 Stretch 4 360°多传感头部

应用场景

· **算法复现:**搭建人类视频先验 + 真机失败修正的完整闭环,对比 Expert BC/RECAP 等基线。

· **数据工程:**用开放平台批量采集 head/gripper 双视角图像与动作轨迹。

· **跨本体对照:**移动操作与静态力控臂分别验证表征迁移。

痛点与解决方案

· 痛点: 自研底盘周期长、感知难标定。**方案:**Stretch 3/4 出厂标定、SDK 完整,直接进入算法层。

· 痛点: 缺低层力矩接口做力控。**方案:**FR3 提供 1kHz 关节力矩/位置/速度读取与下发。

更多相关资讯,欢迎关注 "欣佰特科技" ,持续为大家带来 "具身智能领域" 前沿技术及应用!详情可邮件咨询++++sales@cnbestec.com++++

|-----------------|--------------------------------------|------------------------------|
| 产品 | 典型应用场景 | 解决的痛点问题 |
| Stretch 3 | 家庭/实验室导航抓取、开盖擦拭、投递等长程移动操作;失败记录与自改进复现 | 缺可移动、可达桌面到地面, 开源易二次开发的移动操作底座 |
| Stretch 4 | 长时自主导航与部署、3D SLAM、VLM抓取、家庭服务机器人课题 | 续航短、需频繁人工接管, 环境感知覆盖不足 |
| FR3 franka力控机械臂 | 柔顺装配、接触丰富操作、低层力/位控制、课程实验 | 静态臂缺关节力矩反馈, 难做柔顺与力控研究 |
| 通用: 遥操作/数据采集 | 双视角图像与动作轨迹采集、LeRobot类数据集构建、策略训练 | 自研采集平台周期长, 感知未标定、接口不统一 |

|------------------------|------------------------------------------------------------------------------------------------|--------------------------------------------------|------------------------------------------------|
| 产品型号 | 核心技术参数 | 独特优势 | 适用平台或接口 |
| Hello Robot Stretch 3 | 臂展0.52m,推荐负载2kg;头部RealSense D435i云台深度相机+广角RGB,夹爪D405指尖深度相机,2D RPLIDAR A1,差速驱动底座,DexWrist3三自由度腕 | 出厂标定、开源ROS 2/Python栈,紧凑足迹可进入家庭/实验室,支持手柄/网页/灵巧遥操作 | 移动操作科研、模仿学习、遥操作数据采集;论文本实验移动平台 |
| Hello Robot Stretch 4 | 臂展55cm+6cm腕;负载2.5kg(伸出)/4kg(收回);自重46kg(配压载);轻载续航8h;高160cm/足迹直径45cm;全向底座、360°双半球3D LiDAR、自充电 | 开源ROS 2+Python SDK,集成标定开箱即用,长时续航与自主回充,面向长时自主部署 | 长时自主导航、3D SLAM、VLM抓取、家庭/职场服务机器人研究 |
| Franka Research 3(FR3) | 7 DOF;负载3kg;臂展855mm;位置重复精度±0.1mm;7关节集成力矩传感器;1kHz运动控制 | 关节力矩反馈、Desk/RIDE/FCI三级接口,兼容ROS 2、MATLAB,德国制造 | 力控/柔顺接触操作、1kHz运动控制研究、教学与算法验证(静态臂选型,非论文所用Panda) |

相关推荐
深蓝学院1 天前
TRO顶刊|隐蔽攻击下的多机器人安全学习控制:小规模学习,大规模泛化
机器人·具身智能
是Yu欸1 天前
面向启元 Q1 的手势交互:12 组 MobileNetV3 微调实验与 Skill 接入方案
交互·模型微调·具身智能
Godspeed Zhao2 天前
具身智能中的无线技术——无线线束2
具身智能
CV@CV4 天前
世界模型与智能体协同推理逻辑
人工智能·算法·边缘计算·量子计算·具身智能
行如流水4 天前
UniWAM:让“理解、预见、行动“在同一个 Transformer 里
具身智能
禁默4 天前
2026年具身智能“双线分流“:机器人进厂,也回家
机器人·具身智能
worthsen5 天前
科沃斯八界机器人试用与3D仿真开发
机器人·具身智能·八界创造者计划·科沃斯八界
猫先生Mr.Mao6 天前
具身智能之京东 WLA³详解:用世界状态转换统一人类视频和机器人动作
机器人·论文解读·具身智能·vla·京东·wla3
飞思实验室6 天前
从“能训练”到“可验证”:无人具身智能Sim2Real工程实践与可信验证
具身智能