论文解读|智元 GO-1:VLA 进化到 ViLLA,中间多出来的那个“L“到底有什么用?

2025 年 3 月,智元发布首个通用具身基座大模型 GO-1(Genie Operator-1),提出 ViLLA(Vision-Language-Latent-Action)架构。名字只比 VLA 多了一个 L,但这个 L 解决的是 VLA 最疼的一个问题:互联网上海量的人类视频没有动作标签,怎么才能喂给机器人模型? 本文基于官方技术报告《AgiBot World Colosseo》(arXiv:2503.06669)做通俗解读。

▲ AgiBot World Colosseo 平台总览:100 台双臂人形机器人采集百万级轨迹,GO-1 在其上训练。图源:arXiv:2503.06669

一、传统 VLA 的尴尬:两头数据量级差太远

经典 VLA(如 RT-2、OpenVLA)的公式是:图像 + 语言指令 → 直接输出机器人动作。这条路有个结构性矛盾:

  • 视觉-语言数据(图文对)互联网上有几十亿,随便用;
  • 带动作标签的机器人数据,全世界加起来也就百万级。

中间的鸿沟,就是"看得懂"和"会动手"之间的鸿沟。人类视频里明明有海量的"干活经验",但因为没有关节角度、末端位姿这些标签,传统 VLA 一口都吃不下。

GO-1 的思路是:在 V(视觉)L(语言)和 A(动作)之间,插入一层"隐式动作"(Latent Action)作为中间语言------先把"画面发生了什么变化"抽象成一种与具体机器人无关的动作表示,再由它去驱动最终的机器人动作。这就是 ViLLA。

二、ViLLA 的三件套:LAM、Latent Planner、Action Expert

▲ ViLLA 架构图:LAM 从人类视频学隐式动作,Latent Planner 预测隐式动作 token,Action Expert 输出最终控制。图源:arXiv:2503.06669

第一件:Latent Action Model(LAM)------从视频里"榨"出动作

LAM 是一个编码器-解码器结构:编码器看相邻两帧画面,预测"这两帧之间发生了什么动作",压缩成 4 个离散的隐式动作 token(用 VQ-VAE 量化);解码器再根据第一帧 + 这些 token 重建出第二帧。关键在于,训练 LAM 不需要任何动作标签,只要视频------于是 Ego4D 这类互联网规模的人类视频,全部变成了可用的预训练语料。

第二件:Latent Planner(隐式规划器)------用 VLM 做"与本体无关"的规划

以 InternVL2.5-2B 为骨干,输入头部 + 左右腕三路图像和语言指令,输出的是隐式动作 token 而不是机器人关节角 。因为隐式动作空间比 OpenVLA 那种离散化低层动作小几个数量级,VLM 改造成机器人策略的成本大幅降低;同时"隐式动作"本身不绑定任何机器人,天然支持一脑多形的跨本体迁移。

第三件:Action Expert(动作专家)------把规划翻译成精细动作

用扩散(diffusion)目标建模连续动作分布,一次解码未来 30 步(H=30)的动作块(action chunk),吃本体状态,输出高频、灵巧的低层控制。它和 Latent Planner 共享架构、逐层条件化,组成 MoE 式的双专家系统。

三个阶段串起来就是:LAM 在无标签视频上打动作基础 → Latent Planner 用隐式动作做通用规划 → Action Expert 在百万真机数据上练精细执行。

三、实验结果:数字说话

▲ GO-1 对比 RDT-1B 及去掉 Latent Planner 的消融版本。图源:arXiv:2503.06669

  • GO-1 vs RDT-1B :在倒水、清理桌面、补货、叠短裤、擦桌子五个真机任务上,GO-1 平均成功率超出此前最优通用策略 32%,复杂任务(叠短裤这类柔性物体操作)优势尤其明显;
  • Latent Planner 的功劳 :消融实验显示,加上隐式规划器平均带来 0.12 的完成度提升,在需要指令跟随的"Restock Beverage"任务上提升最大;
  • 数据缩放定律:性能随预训练轨迹数呈可预测的幂律增长(Pearson 相关系数 r=0.97)------这意味着"继续堆数据就有继续的收益",路线是可持续的;
  • 数据质量实验:人工核验过的 528 条微调数据,效果反超未核验的 482 条(+0.18),再次印证"质控即护城河"。

四、对开发者的三点启发

  1. "中间表示"是异构数据融合的钥匙。LAM 的隐式动作思路(学术脉络来自 Genie、LAPA)正在被越来越多的工作采用,读懂 GO-1 就看懂了 2025 年后 VLA 预训练的一条主线;
  2. 小模型也能干大事。GO-1 的 VLM 骨干只有 2B------具身模型拼的不是参数量,而是数据配比与分层设计,这对算力有限的团队是好消息;
  3. 这套架构就在启元生态的"上游"。智元的具身大脑能力持续向消费级产品线渗透,启元 Q1 / T1 面向家庭场景的技能泛化,依赖的正是这类"看视频学动作、小样本快速泛化"的底座能力。关注 GO-1 的演进,就是在预判启元机器人未来能学会什么。

五、一句话总结

ViLLA 多出来的那个 L,本质是给"看不懂动作标签的人类视频"和"只认关节指令的机器人"之间架了一座桥------桥这头是互联网级的免费数据,桥那头是百万真机的精细执行,GO-1 证明了这座桥能走通,而且越走越宽。

ViLLA 多出来的那个 L,让人类视频中的动作经验有了进入机器人策略的通道。要把这个思路用到启元 Q1 / T1,仍需对照启元机器人开发者社区的接口资料,核对观测、动作定义和控制频率。理解架构之后,能否把模型输出准确接到本体上,才是下一步真正要解决的问题。

相关推荐
天树星智源7 小时前
记忆该记「赔率跳变」:机器人长时程十连任务,事件记忆 88.0%,删掉失败记录只剩 1.7%
论文阅读·人工智能·机器人
kyle~9 小时前
因子图优化(Factor Graph Optimization)
c++·算法·机器人·传感器
硅谷秋水10 小时前
MorphMimic 方法分析
人工智能·机器学习·计算机视觉·机器人
万俟淋曦12 小时前
[ROS 系列学习教程] 建模与仿真 - 使用 ros_control 控制六轴串联机械臂
人工智能·ai·机器人·ros·机械臂·robotics·具身智能
普通人612 小时前
PHP多维数组排序完全指南
开发语言·php·1024程序员节
wangxiaoxuan2171 天前
机器人软件系统全景:感知、定位、规划、控制与决策如何协作
机器人·科沃斯八界
wangxiaoxuan2171 天前
理解 MoveIt:机器人状态、规划场景和规划流水线
机器人·科沃斯八界·机械臂控制
蓝天居士1 天前
ROS2从入门到精通(10)
机器人·ros·ros 2
wangxiaoxuan2172 天前
SLAM 的基本结构:前端、后端、回环与地图优化
前端·机器人·科沃斯八界
鲁邦通物联网2 天前
机器人梯控状态模型与反馈可靠性验证方法
机器人·巡检机器人·机器人梯控·agv梯控·非侵入式采集·机器人乘梯·机器人自主乘梯