UniDex-VLA:用人类第一视角视频,训出能跨 8 种灵巧手的 3D VLA

总览:创新不在「又一个 VLA」,而在「灵巧手基础模型的一整套系统」

论文把贡献拆成三块:UniDex-Dataset 、FAAS + UniDex-VLA 、UniDex-Cap + 人机共训 。

方法上,UniDex-VLA 基本是 π0 骨架 + Uni3D 点云 + FAAS ;真正拉开差距的是 人类视频 → 机器人可执行轨迹 的数据管线,以及 跨多种灵巧手的统一动作表示。


创新点 1:大规模「机器人中心」预训练数据(UniDex-Dataset)

要解决什么

  • 灵巧手遥操作贵、难扩规模;
  • 现有灵巧数据集往往 手型少、场景窄、模态不全(论文表 1 对比 ActionNet、RoboMind、RealDex)。

做了什么

  • 在 H2O、HOI4D、HOT3D、TACO 四个公开第一视角 RGB-D 人类操作数据上,走统一 Human--Robot Transformation :
    1. 运动学 :指尖目标 + 多末端 IK + 6-DoF dummy base ;人机协同 GUI 调 offset,重点修接触;
    2. 视觉 :点云里 mask 人手 (WiLoR + SAM2),再把 重定向后的机器手 贴回场景并重投影,对齐后训练单视角设定。
  • 对 8 种灵巧手 (6--24 active DoF)各生成一套轨迹,规模约 52K 轨迹、9M 帧(30 fps),并带语言、RGB、深度、点云。

和「用人手动作预训练再对齐」的区别

  • 很多工作预测人手参数或 latent,后训练还要 IK / 对齐阶段(论文 Related Work 点名 EgoVLA 等)。
  • UniDex 强调:预训练监督已经是 FAAS 下的机器手动作 + 机器手在场景里的点云,后训练不必再搞一套 brittle 的「人手→机器人」对齐 trick。

创新强度

  • 系统 + 规模 + 多手型 + 全模态:在灵巧手领域,论文声称是首个在此规模、此手型跨度上的统一数据集(需以同期工作为准核对)。
  • 不是 从零发明新传感器;是 把公开人类视频 可扩展地 变成多手型、可预训练的机器人数据。

局限(论文也承认或实验暗示)

  • 重定向 不是全自动:接触段要人调 GUI;全量数据仍依赖人工抽检/校准策略。
  • 原始视频仍是人类来源,物理可行性、力控 未在数据里显式保证。

创新点 2:FAAS(Function--Actuator--Aligned Space)统一动作空间

要解决什么

  • 不同手的 DoF 数、关节顺序、mimic 耦合、外观 都不同;
  • π0 式 左对齐关节向量 或纯 gripper 空间 无法保证「第 k 维语义一致」。

做了什么

  • 82 维 统一接口:
    • 18 维:左右腕各 9 维(6D 旋转 + 3D 平移);
    • 64 维:左右手各 32 个 按功能划分的执行器槽(拇指 0--4 ... 小指 20--24,预留 Shadow 腕部与未来手)。
  • 映射原则:功能相近的执行器 → 同一 FAAS 索引(图 4、附录 C 详图),而不是 URDF 原始关节号。

和 π0 / RDT / EgoVLA 等的对比(论文叙事)

思路 典型做法 UniDex FAAS
Gripper VLA 低维夹爪动作 面向高 DoF 灵巧手
左对齐关节 维度对齐,语义未必对齐 按功能对齐
人手参数 + 后处理 IK 部署时再转机器人 预训练即机器人 FAAS,post-processing-free(作者主张)

实验支撑

  • 零样本跨手 :Inspire 上训「煮咖啡」,无微调 部署到 Wuji / Oymotion,UniDex-VLA 约 40% / 60% 平均任务进度,基线接近 0(图 10)。
  • 说明 FAAS 不能单独魔法 ,需要和 多手预训练 一起才有效。

创新强度

  • 概念上类似「跨 embodiment 的语义动作空间」,但针对 灵巧手多指、多耦合 做了 显式槽位设计 + 8 手映射表;
  • 实现简单(无额外网络),利于 混训与迁移,这是工程上很实在的创新。

局限

  • FAAS 不消除 连杆长度、可达性、力矩限制;跨手仍受 运动学差异 制约。
  • 新手型要 人工配置映射 + retarget 标定(仓库支持加 URDF 与 GUI)。

创新点 3:3D VLA 策略 UniDex-VLA(相对 π0 的「针对性改造」)

做了什么

  • 观测:单视角彩色点云 + 语言 + FAAS 本体状态;
  • 骨干:PaliGemma/Gemma 的语言侧 + Uni3D 替代 SigLIP 做点云 token;
  • 动作:30×82 动作块,conditional flow matching 训练,推理 10 步 Euler(与 π0 同族)。

算创新吗?

  • 架构层面 :增量创新(点云 + 高维 FAAS + 灵巧预训练),不是新 Transformer 或新生成范式。
  • 任务层面 :把 foundation VLA 推到 真实工具使用、多指协调 (剪袋、喷壶、鼠标等),且 81% vs π₀ 38% 平均任务进度(5 任务、每任务 50 demo),实证贡献大。

和 DexGraspVLA、DexVLG 等

  • 论文强调后者多 抓取、仿真或数据规模有限、手专属表示 ;UniDex 强调 通用工具操作 + 多手预训练 + 真实机 benchmark。

创新点 4:UniDex-Cap + 人机数据共训(降后训练成本)

要解决什么

  • 预训练再大,目标任务仍要真机 demo;遥操作仍贵。

做了什么

  • 便携采集 :Vision Pro(手/头姿)+ RealSense L515(RGB-D)刚性支架 + GUI 标定外参;
  • 同一套 human→robot transformation 转成机器人轨迹;
  • Make Coffee 上系统研究 h 条人类 + r 条机器人 共训曲线。

定量结论(论文)

  • 仅有 transformed 人类数据 :成功率仍 接近 0(机器人数据 indispensable);
  • 兑换率约 2:1 :约 2 条人类 demo ≈ 1 条机器人 demo(在可比性能带内);
  • 人类采集约 5.2× 更快 → 共训可降低 数据美元/时间成本。

创新强度

  • Cap 硬件本身不稀奇;与 UniDex 重定向管线闭环 + 定量兑换率 是 可复现的方法论贡献,对实验室很实用。

创新点 5:实验与 benchmark 设计(常被低估的「贡献」)

  • 5 个真实工具任务 、多阶段 average task progress 指标;
  • 空间泛化(点云编辑 + DemoGen + TAMP 对齐状态);
  • 物体泛化(换水壶);
  • 手型零样本迁移;
  • 与 DP / DP3 / π₀ / No Pretrain 等同预算对比。

这部分定义了 「灵巧手 foundation policy 该怎么评」,对社区也有价值。


创新点层级

层级 内容 新颖性
A(核心) 人类 RGB-D → 多手型机器人轨迹 + 视觉替换的 可扩展数据管线 高
A(核心) FAAS + 大规模混训 → 跨手零样本 高(概念+实证)
B(重要) UniDex-Cap + 人机共训 2:1 兑换率 与成本分析 中高
C(组合) Uni3D + π0式 flow VLA + 灵巧预训练 中(工程整合强)
D(边界) 未用大规模 无动作标签 egocentric 视频(结论里写的 future work) 当前未做

用人类视频造多手灵巧预训练数据 + FAAS 统一动作 + 3D VLA

相关推荐
虎鲸不是鱼1 小时前
AI 自动化逆向(二十五)数据表格式:一个恒等式覆盖 99% 的表
人工智能·自动化·大模型·逆向·ai逆向
AllData公司负责人2 小时前
数据 + AI 一体化 I 机器学习中心(CubeStudio)实现目标识别可视化训练与弹性部署,让视觉模型快速投产
大数据·人工智能·机器学习·大模型·数据采集·ai一体化
云飞云共享云桌面2 小时前
苏州半导体工厂研发部门多个SolidWorks 如何共享服务器来进行研发设计
运维·服务器·3d·自动化·制造
坚定信念,勇往无前2 小时前
3d建模整个流程-完整工作流总结(Maya + Marmoset Toolbag 八猴 + Substance Painter + Unity URP)
3d
末世灯光2 小时前
IJCV 2026|从图片到视频,EMO-LLaMA如何增强大模型的面部表情识别能力?
大模型·情感识别·情感计算
轻口味3 小时前
启元无真机二开实战1:54 个接口能做什么、不能做什么——启元 Q1/T1 SDK 能力全景与版本矩阵
线性代数·矩阵·ros2·具身智能·启元机器人
FansAI_art3 小时前
3D潮玩手办的材质还原与多角色同屏防崩坏
3d·材质
Agent世界3 小时前
百度OCR 2开源:KV缓存从47GB压到1.77GB
百度·缓存·开源·大模型·ocr
Solange__3 小时前
AI模型编辑器、Blender和3D Agent怎么选?按5类修改任务比较局部编辑、拓扑与自动化
人工智能·3d·自然语言处理·编辑器·音视频·blender·游戏策划