UniDex-VLA:用人类第一视角视频,训出能跨 8 种灵巧手的 3D VLA

总览:创新不在「又一个 VLA」,而在「灵巧手基础模型的一整套系统」

论文把贡献拆成三块:UniDex-Dataset 、FAAS + UniDex-VLA 、UniDex-Cap + 人机共训 。

方法上,UniDex-VLA 基本是 π0 骨架 + Uni3D 点云 + FAAS ;真正拉开差距的是 人类视频 → 机器人可执行轨迹 的数据管线,以及 跨多种灵巧手的统一动作表示。


创新点 1:大规模「机器人中心」预训练数据(UniDex-Dataset)

要解决什么

  • 灵巧手遥操作贵、难扩规模;
  • 现有灵巧数据集往往 手型少、场景窄、模态不全(论文表 1 对比 ActionNet、RoboMind、RealDex)。

做了什么

  • 在 H2O、HOI4D、HOT3D、TACO 四个公开第一视角 RGB-D 人类操作数据上,走统一 Human--Robot Transformation :
    1. 运动学 :指尖目标 + 多末端 IK + 6-DoF dummy base ;人机协同 GUI 调 offset,重点修接触;
    2. 视觉 :点云里 mask 人手 (WiLoR + SAM2),再把 重定向后的机器手 贴回场景并重投影,对齐后训练单视角设定。
  • 对 8 种灵巧手 (6--24 active DoF)各生成一套轨迹,规模约 52K 轨迹、9M 帧(30 fps),并带语言、RGB、深度、点云。

和「用人手动作预训练再对齐」的区别

  • 很多工作预测人手参数或 latent,后训练还要 IK / 对齐阶段(论文 Related Work 点名 EgoVLA 等)。
  • UniDex 强调:预训练监督已经是 FAAS 下的机器手动作 + 机器手在场景里的点云,后训练不必再搞一套 brittle 的「人手→机器人」对齐 trick。

创新强度

  • 系统 + 规模 + 多手型 + 全模态:在灵巧手领域,论文声称是首个在此规模、此手型跨度上的统一数据集(需以同期工作为准核对)。
  • 不是 从零发明新传感器;是 把公开人类视频 可扩展地 变成多手型、可预训练的机器人数据。

局限(论文也承认或实验暗示)

  • 重定向 不是全自动:接触段要人调 GUI;全量数据仍依赖人工抽检/校准策略。
  • 原始视频仍是人类来源,物理可行性、力控 未在数据里显式保证。

创新点 2:FAAS(Function--Actuator--Aligned Space)统一动作空间

要解决什么

  • 不同手的 DoF 数、关节顺序、mimic 耦合、外观 都不同;
  • π0 式 左对齐关节向量 或纯 gripper 空间 无法保证「第 k 维语义一致」。

做了什么

  • 82 维 统一接口:
    • 18 维:左右腕各 9 维(6D 旋转 + 3D 平移);
    • 64 维:左右手各 32 个 按功能划分的执行器槽(拇指 0--4 ... 小指 20--24,预留 Shadow 腕部与未来手)。
  • 映射原则:功能相近的执行器 → 同一 FAAS 索引(图 4、附录 C 详图),而不是 URDF 原始关节号。

和 π0 / RDT / EgoVLA 等的对比(论文叙事)

思路 典型做法 UniDex FAAS
Gripper VLA 低维夹爪动作 面向高 DoF 灵巧手
左对齐关节 维度对齐,语义未必对齐 按功能对齐
人手参数 + 后处理 IK 部署时再转机器人 预训练即机器人 FAAS,post-processing-free(作者主张)

实验支撑

  • 零样本跨手 :Inspire 上训「煮咖啡」,无微调 部署到 Wuji / Oymotion,UniDex-VLA 约 40% / 60% 平均任务进度,基线接近 0(图 10)。
  • 说明 FAAS 不能单独魔法 ,需要和 多手预训练 一起才有效。

创新强度

  • 概念上类似「跨 embodiment 的语义动作空间」,但针对 灵巧手多指、多耦合 做了 显式槽位设计 + 8 手映射表;
  • 实现简单(无额外网络),利于 混训与迁移,这是工程上很实在的创新。

局限

  • FAAS 不消除 连杆长度、可达性、力矩限制;跨手仍受 运动学差异 制约。
  • 新手型要 人工配置映射 + retarget 标定(仓库支持加 URDF 与 GUI)。

创新点 3:3D VLA 策略 UniDex-VLA(相对 π0 的「针对性改造」)

做了什么

  • 观测:单视角彩色点云 + 语言 + FAAS 本体状态;
  • 骨干:PaliGemma/Gemma 的语言侧 + Uni3D 替代 SigLIP 做点云 token;
  • 动作:30×82 动作块,conditional flow matching 训练,推理 10 步 Euler(与 π0 同族)。

算创新吗?

  • 架构层面 :增量创新(点云 + 高维 FAAS + 灵巧预训练),不是新 Transformer 或新生成范式。
  • 任务层面 :把 foundation VLA 推到 真实工具使用、多指协调 (剪袋、喷壶、鼠标等),且 81% vs π₀ 38% 平均任务进度(5 任务、每任务 50 demo),实证贡献大。

和 DexGraspVLA、DexVLG 等

  • 论文强调后者多 抓取、仿真或数据规模有限、手专属表示 ;UniDex 强调 通用工具操作 + 多手预训练 + 真实机 benchmark。

创新点 4:UniDex-Cap + 人机数据共训(降后训练成本)

要解决什么

  • 预训练再大,目标任务仍要真机 demo;遥操作仍贵。

做了什么

  • 便携采集 :Vision Pro(手/头姿)+ RealSense L515(RGB-D)刚性支架 + GUI 标定外参;
  • 同一套 human→robot transformation 转成机器人轨迹;
  • Make Coffee 上系统研究 h 条人类 + r 条机器人 共训曲线。

定量结论(论文)

  • 仅有 transformed 人类数据 :成功率仍 接近 0(机器人数据 indispensable);
  • 兑换率约 2:1 :约 2 条人类 demo ≈ 1 条机器人 demo(在可比性能带内);
  • 人类采集约 5.2× 更快 → 共训可降低 数据美元/时间成本。

创新强度

  • Cap 硬件本身不稀奇;与 UniDex 重定向管线闭环 + 定量兑换率 是 可复现的方法论贡献,对实验室很实用。

创新点 5:实验与 benchmark 设计(常被低估的「贡献」)

  • 5 个真实工具任务 、多阶段 average task progress 指标;
  • 空间泛化(点云编辑 + DemoGen + TAMP 对齐状态);
  • 物体泛化(换水壶);
  • 手型零样本迁移;
  • 与 DP / DP3 / π₀ / No Pretrain 等同预算对比。

这部分定义了 「灵巧手 foundation policy 该怎么评」,对社区也有价值。


创新点层级

层级 内容 新颖性
A(核心) 人类 RGB-D → 多手型机器人轨迹 + 视觉替换的 可扩展数据管线 高
A(核心) FAAS + 大规模混训 → 跨手零样本 高(概念+实证)
B(重要) UniDex-Cap + 人机共训 2:1 兑换率 与成本分析 中高
C(组合) Uni3D + π0式 flow VLA + 灵巧预训练 中(工程整合强)
D(边界) 未用大规模 无动作标签 egocentric 视频(结论里写的 future work) 当前未做

用人类视频造多手灵巧预训练数据 + FAAS 统一动作 + 3D VLA

相关推荐
小七-七牛开发者20 小时前
周 1 上线 | DSH 喜提原神进场动画,Anthropic 启动 IPO 路演;黄仁勋辞任;微软全球大宕机超 24 小时
ai·大模型·agent·token·工作流·claudecode·ai coding
M--Y1 天前
LangGraph 架构基石:持久化与运行控制
python·langchain·大模型·llm·持久化·langgraph
香吧香1 天前
一篇文章搞懂 Agent Harness:从概念、原理到我们该不该上
大模型
万俟淋曦1 天前
[ROS 系列学习教程] 建模与仿真 - 使用 ros_control 控制六轴串联机械臂
人工智能·ai·机器人·ros·机械臂·robotics·具身智能
M--Y2 天前
LangGraph 工作流模式
开发语言·javascript·python·langchain·大模型·llm·langgraph
dozenyaoyida2 天前
AI与大模型新闻日报 | 2026-11-08
人工智能·搜索引擎·ai·大模型·新闻
Solange__2 天前
Blender 3D模型优化:普通复制、共享网格、实例、合并怎么选?
人工智能·3d·ai·自然语言处理·编辑器·blender·材质
小小-猿2 天前
从 gpt-6-luna 到第一个 Nexent 智能体:配置、调试与发布
gpt·大模型·智能体·ai智能体·nexent
aicat_cn2 天前
OpenAI 解散机器人团队,改让 GPT-6 直接控制机器人
ai·大模型
Flynn Liang2 天前
LLM 应用安全:Prompt 注入、越权与输入输出护栏
java·人工智能·大模型·langchain4j·llm 安全·prompt 注入·guardrail