具身智能数据工程观察：遥操作采集与UMI手持采集的技术路线对比
操作示范数据（demonstration data）的采集是具身智能训练管线的上游瓶颈。当前主流采集路线有两条：以机器人本体为中心的遥操作采集（teleoperation），以及2024年前后出现的UMI（Universal Manipulation Interface，通用操作接口）手持夹爪采集。据媒体报道，2026年行业关键词是"百万小时"，多家企业和机构提出百万小时级采集目标，采集效率成为工程焦点。一个被广泛引用的对比数字是：杯子摆放任务中UMI手持采集每小时约111条演示，遥操作约35条。本文从数据管线视角，对两条路线的技术形态、动作表示、效率成本结构与适用边界做系统梳理。
遥操作采集：本体在场的主从控制链路
遥操作采集中，操作员坐在固定工位，通过示教器、VR手柄、力反馈手套或主从臂（master-slave manipulator）远程牵引真实机械臂完成任务。系统同步记录多路数据：腕部/外部相机的视觉流、主从端的关节角指令、末端位姿（pose）、夹爪开合量、力矩传感器读数及任务成功标记。
从数据管线角度看，遥操作的核心特征是动作空间与目标本体一致。记录的关节轨迹直接落在机器人自身的构型空间（configuration space）内，动作向量就是本体可执行的控制量，无需跨形态映射即可进入模仿学习管线（如ACT、Diffusion Policy等）。这也意味着数据天然携带本体的运动学与动力学约束：关节限位、奇异构型、负载边界、传动间隙、控制器延迟都在真实硬件闭环中被隐式编码。据公开报道，谷歌2022年发布的RT-1模型曾用13台机器人连续采集17个月，积累超13万条演示、覆盖700多项任务，是这一路线的典型公开案例。
遥操作的工程代价同样源于本体在场。每条演示结束后需要场景重置（scene reset）------物体归位、机械臂回零、工位状态复原；主从映射存在标定误差，力反馈通道的延迟与抖动会引入无效轨迹；硬件磨损与故障直接拉低有效数据率。这些非采集时间构成了有效产出比的主要损耗。
UMI手持采集：脱离本体的人类演示捕获
UMI路线的硬件是一只手持式夹爪，集成单目/立体相机与位姿追踪模块（通常基于视觉惯性里程计或外部标记追踪）。操作员握持夹爪在真实环境中直接完成任务，设备记录第一视角视觉流、夹爪末端的6自由度轨迹与开合状态。采集现场不需要机器人本体，人员可携带设备跨房间、跨场景移动，据媒体报道，这一流动性是其效率优势的主要来源。
UMI的原始数据并不是机器人动作，而是人类操作轨迹。因此管线中必须插入一个转换层（retargeting），主要包含三个技术环节：其一，手部/夹爪姿态恢复，从视觉与追踪信号中重建末端在世界坐标系下的平滑6D轨迹，并处理人手抖动与追踪漂移；其二，夹爪动作映射，将人类握持-释放时序映射为目标夹爪的开合指令，涉及接触时刻对齐与开合宽度标定；其三，动力学补全（dynamics completion），由于手持装置无关节力矩与负载反馈，接触力、材质形变、重力补偿等物理量需要借助仿真环境重放轨迹并解算，生成目标本体可执行的关节空间动作。据行业公开报道，第一视角数据潜力可观，但人手与机器手形态差异决定了仿真补全是必经环节。
动作表示与数据结构对比
两条路线产出的动作表示（action representation）存在本质差异。遥操作的动作向量通常为本自由度的关节角序列加夹爪状态，时序上与本体控制频率对齐，可直接作为策略网络的监督信号。UMI原始动作空间是末端笛卡尔空间的人手轨迹，经retargeting后才转换为目标本体的关节空间动作；融合Ego第一视角方案的管线中，动作向量还会补充人体侧的运动学信息，例如以关节角度、手部开合度与肘部3D坐标构成的多维动作表示，用于约束上半身姿态的一致性。
视觉侧同样不同。遥操作的相机位姿绑定在机器人腕部或外部固定支架上，视角分布与部署时一致，sim-to-real的视觉域差较小；UMI/Ego路线的第一视角画面包含丰富的注意视线与场景上下文，但视角分布由人类头部和手部运动决定，与目标机器人的相机安装位置存在域差，需要在训练中通过数据增强或视角变换处理。
效率与成本结构
效率差异可拆解为三个来源。一是单条演示耗时：遥操作受限于机械臂运动速度与主从控制精度，操作员倾向于慢速牵引；手持操作接近人类自然作业速度。二是场景重置：据媒体报道的对比实验中，杯子摆放任务UMI每小时约111条、遥操作约35条，差距很大一部分来自遥操作每条演示后的重置与回零，以及标定偏差、设备故障导致的废片。三是场景迁移成本：遥操作换场景需要停机、搬运机器人、重新标定；UMI只需操作员移动到新场景。
成本结构随之分化。遥操作的成本集中在采集端：机器人本体折旧、主从设备、场地、调试与重置人力。据行业公开报道，真机采集市场价格约在每小时千元级别，反映的是重资产工位的综合运转成本。UMI的成本集中在后处理端：设备轻便、场地灵活，采集端开销低，但轨迹retargeting、仿真动力学补全与逐条质检构成主要人力与算力开销。两者的账期结构不同------前者是"采得贵"，后者是"处理重"。
适用边界与组合策略
从工程适配性看，遥操作适合三类任务：需要精确力控的接触富集任务（精密装配、力控打磨）、与具体本体强绑定的工业工位作业、以及需要在整机闭环中验证策略的场景------其数据自带真实本体动力学，力控信号无法靠手持设备替代。UMI适合操作类型多样、场景分散、需要快速放量的通用技能采集（家居、餐饮、零售场景的开门、取放、整理、倒水等），场景变体越多，流动性与低设备门槛的优势越明显。
据行业公开报道，行业共识并非二选一：真机数据的物理真实性难以替代，但单一来源撑不起规模化训练；互联网视频视角与动作参差不齐，纯第一视角数据需要转换补全；仿真合成加少量真机数据成为常见组合。工程实践中，Ego第一视角与UMI融合采集是近年落地较多的形态------头戴相机记录全局视野与注意力分布，手持夹爪同步记录精细操作轨迹，双路数据时间戳对齐，兼顾场景理解与动作还原；输出侧通常做格式标准化，以直接适配LeRobot等主流训练框架，减少下游团队的数据工程负担。
小结
遥操作与UMI代表两种数据获取哲学：前者以本体为中心，数据真实但采集重、扩展慢；后者以人为中心，采集轻、扩展快，但需要一套retargeting与动力学补全管线把人类演示翻译成机器人动作。对数据工程团队而言，选型的本质是任务力控精度、本体绑定程度、场景分散度与放量速度之间的权衡，两条路线在可预见的时期内将长期共存并按任务配比组合。