论文解读|智元 GO-1:VLA 进化到 ViLLA,中间多出来的那个“L“到底有什么用?

2025 年 3 月,智元发布首个通用具身基座大模型 GO-1(Genie Operator-1),提出 ViLLA(Vision-Language-Latent-Action)架构。名字只比 VLA 多了一个 L,但这个 L 解决的是 VLA 最疼的一个问题:互联网上海量的人类视频没有动作标签,怎么才能喂给机器人模型? 本文基于官方技术报告《AgiBot World Colosseo》(arXiv:2503.06669)做通俗解读。

▲ AgiBot World Colosseo 平台总览:100 台双臂人形机器人采集百万级轨迹,GO-1 在其上训练。图源:arXiv:2503.06669

一、传统 VLA 的尴尬:两头数据量级差太远

经典 VLA(如 RT-2、OpenVLA)的公式是:图像 + 语言指令 → 直接输出机器人动作。这条路有个结构性矛盾:

  • 视觉-语言数据(图文对)互联网上有几十亿,随便用;
  • 带动作标签的机器人数据,全世界加起来也就百万级。

中间的鸿沟,就是"看得懂"和"会动手"之间的鸿沟。人类视频里明明有海量的"干活经验",但因为没有关节角度、末端位姿这些标签,传统 VLA 一口都吃不下。

GO-1 的思路是:在 V(视觉)L(语言)和 A(动作)之间,插入一层"隐式动作"(Latent Action)作为中间语言------先把"画面发生了什么变化"抽象成一种与具体机器人无关的动作表示,再由它去驱动最终的机器人动作。这就是 ViLLA。

二、ViLLA 的三件套:LAM、Latent Planner、Action Expert

▲ ViLLA 架构图:LAM 从人类视频学隐式动作,Latent Planner 预测隐式动作 token,Action Expert 输出最终控制。图源:arXiv:2503.06669

第一件:Latent Action Model(LAM)------从视频里"榨"出动作

LAM 是一个编码器-解码器结构:编码器看相邻两帧画面,预测"这两帧之间发生了什么动作",压缩成 4 个离散的隐式动作 token(用 VQ-VAE 量化);解码器再根据第一帧 + 这些 token 重建出第二帧。关键在于,训练 LAM 不需要任何动作标签,只要视频------于是 Ego4D 这类互联网规模的人类视频,全部变成了可用的预训练语料。

第二件:Latent Planner(隐式规划器)------用 VLM 做"与本体无关"的规划

以 InternVL2.5-2B 为骨干,输入头部 + 左右腕三路图像和语言指令,输出的是隐式动作 token 而不是机器人关节角 。因为隐式动作空间比 OpenVLA 那种离散化低层动作小几个数量级,VLM 改造成机器人策略的成本大幅降低;同时"隐式动作"本身不绑定任何机器人,天然支持一脑多形的跨本体迁移。

第三件:Action Expert(动作专家)------把规划翻译成精细动作

用扩散(diffusion)目标建模连续动作分布,一次解码未来 30 步(H=30)的动作块(action chunk),吃本体状态,输出高频、灵巧的低层控制。它和 Latent Planner 共享架构、逐层条件化,组成 MoE 式的双专家系统。

三个阶段串起来就是:LAM 在无标签视频上打动作基础 → Latent Planner 用隐式动作做通用规划 → Action Expert 在百万真机数据上练精细执行。

三、实验结果:数字说话

▲ GO-1 对比 RDT-1B 及去掉 Latent Planner 的消融版本。图源:arXiv:2503.06669

  • GO-1 vs RDT-1B :在倒水、清理桌面、补货、叠短裤、擦桌子五个真机任务上,GO-1 平均成功率超出此前最优通用策略 32%,复杂任务(叠短裤这类柔性物体操作)优势尤其明显;
  • Latent Planner 的功劳 :消融实验显示,加上隐式规划器平均带来 0.12 的完成度提升,在需要指令跟随的"Restock Beverage"任务上提升最大;
  • 数据缩放定律:性能随预训练轨迹数呈可预测的幂律增长(Pearson 相关系数 r=0.97)------这意味着"继续堆数据就有继续的收益",路线是可持续的;
  • 数据质量实验:人工核验过的 528 条微调数据,效果反超未核验的 482 条(+0.18),再次印证"质控即护城河"。

四、对开发者的三点启发

  1. "中间表示"是异构数据融合的钥匙。LAM 的隐式动作思路(学术脉络来自 Genie、LAPA)正在被越来越多的工作采用,读懂 GO-1 就看懂了 2025 年后 VLA 预训练的一条主线;
  2. 小模型也能干大事。GO-1 的 VLM 骨干只有 2B------具身模型拼的不是参数量,而是数据配比与分层设计,这对算力有限的团队是好消息;
  3. 这套架构就在启元生态的"上游"。智元的具身大脑能力持续向消费级产品线渗透,启元 Q1 / T1 面向家庭场景的技能泛化,依赖的正是这类"看视频学动作、小样本快速泛化"的底座能力。关注 GO-1 的演进,就是在预判启元机器人未来能学会什么。

五、一句话总结

ViLLA 多出来的那个 L,本质是给"看不懂动作标签的人类视频"和"只认关节指令的机器人"之间架了一座桥------桥这头是互联网级的免费数据,桥那头是百万真机的精细执行,GO-1 证明了这座桥能走通,而且越走越宽。

ViLLA 多出来的那个 L,让人类视频中的动作经验有了进入机器人策略的通道。要把这个思路用到启元 Q1 / T1,仍需对照启元机器人开发者社区的接口资料,核对观测、动作定义和控制频率。理解架构之后,能否把模型输出准确接到本体上,才是下一步真正要解决的问题。

相关推荐
SteveSenna2 小时前
aubo学习:realsense手眼标定
学习·机器人·视觉检测
lhdz_bj3 小时前
Mysql Server配置详解
mysql·配置·file·config·1024程序员节·option·选项
核数聚3 小时前
深度拆解核数聚双平台架构:星云Nebula(数据制造)+星枢Nexus(调度中枢)如何构建AI数据交付闭环
人工智能·机器人·核数聚
桃花键神4 小时前
具身智能 2026:从“会动“到“会干“,机器人正在迎来自己的“ChatGPT 时刻“
人工智能·chatgpt·机器人
hey you~4 小时前
小型教培机构语音机器人,课程咨询进线,如何识别意向客户并转人工?
人工智能·机器人·语音识别·语音机器人·教培机构·意向识别·课程咨询
larance4 小时前
[机器学习40讲]33-序列化建模:隐马尔可夫模型.
机器学习·1024程序员节
geats人山人海4 小时前
现代c++第四章 简单类的概念
1024程序员节
tianxuanjg4 小时前
采购指南|航空复杂结构件高精度 CNC 加工采购选型指南
人工智能·经验分享·机器人·制造·材质
ctlover4 小时前
langchain 中间件
中间件·langchain·1024程序员节