VLA 与机器人基础模型:具身智能的下一代操作系统
摘要:大模型让机器学会了理解语言、生成内容和使用工具,但要让 AI 真正进入物理世界,仅有"会说话的大脑"并不够。机器人需要同时理解视觉、语言、空间、动作和反馈。VLA(Vision-Language-Action)模型正是在这个背景下兴起:它试图把"看见什么""听懂什么""下一步怎么做"统一到一个模型中。本文围绕 VLA 与机器人基础模型展开,解释它为什么可能成为具身智能的核心范式,以及它距离真正可规模化的通用机器人还有哪些关键难题。
关键词:VLA、机器人基础模型、具身智能、多模态大模型、模仿学习、动作生成、数据飞轮
目录
- [1. 从 LLM 到 VLA:AI 正在获得行动能力](#1. 从 LLM 到 VLA:AI 正在获得行动能力)
- [2. VLA 到底是什么](#2. VLA 到底是什么)
- [3. 为什么机器人需要基础模型](#3. 为什么机器人需要基础模型)
- [4. VLA 的模型架构:三种典型范式](#4. VLA 的模型架构:三种典型范式)
- [5. 训练 VLA:真正难的是动作数据](#5. 训练 VLA:真正难的是动作数据)
- [6. 从模型到系统:VLA 不能单独上岗](#6. 从模型到系统:VLA 不能单独上岗)
- [7. 人形机器人为什么重新变热](#7. 人形机器人为什么重新变热)
- [8. 产业落地:哪些场景会先跑出来](#8. 产业落地:哪些场景会先跑出来)
- [9. 未来判断:VLA 会成为机器人时代的 Android 吗](#9. 未来判断:VLA 会成为机器人时代的 Android 吗)
- 参考资料
1. 从 LLM 到 VLA:AI 正在获得行动能力
过去几年,AI 的能力边界经历了三次明显扩展。
第一次是语言智能。大语言模型让机器能够理解指令、总结知识、写代码、做推理。
第二次是多模态智能。视觉语言模型让机器能够看图、读图、理解场景,并把视觉内容转化为语言和结构化信息。
第三次正在发生:行动智能。AI 不再只回答"图片里有什么",而是进一步回答"为了完成目标,我应该怎么行动"。
这个变化非常关键。因为物理世界中的大多数价值,不是停留在判断和生成,而是发生在行动之后:
- 工厂里,机器人要把零件装上去;
- 仓库里,机器人要把货物拣出来;
- 家庭里,机器人要把杯子拿起来;
- 医院里,机器人要把物资送到指定位置;
- 实验室里,机器人要按流程操作设备。
语言模型擅长生成文本,视觉模型擅长理解图像,而具身智能真正需要的是把感知、语义和动作连接起来。这正是 VLA 模型试图解决的问题。
#mermaid-svg-kT9PCtMBbY58Doms{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-kT9PCtMBbY58Doms .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-kT9PCtMBbY58Doms .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-kT9PCtMBbY58Doms .error-icon{fill:#552222;}#mermaid-svg-kT9PCtMBbY58Doms .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-kT9PCtMBbY58Doms .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-kT9PCtMBbY58Doms .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-kT9PCtMBbY58Doms .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-kT9PCtMBbY58Doms .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-kT9PCtMBbY58Doms .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-kT9PCtMBbY58Doms .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-kT9PCtMBbY58Doms .marker{fill:#333333;stroke:#333333;}#mermaid-svg-kT9PCtMBbY58Doms .marker.cross{stroke:#333333;}#mermaid-svg-kT9PCtMBbY58Doms svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-kT9PCtMBbY58Doms p{margin:0;}#mermaid-svg-kT9PCtMBbY58Doms .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-kT9PCtMBbY58Doms .cluster-label text{fill:#333;}#mermaid-svg-kT9PCtMBbY58Doms .cluster-label span{color:#333;}#mermaid-svg-kT9PCtMBbY58Doms .cluster-label span p{background-color:transparent;}#mermaid-svg-kT9PCtMBbY58Doms .label text,#mermaid-svg-kT9PCtMBbY58Doms span{fill:#333;color:#333;}#mermaid-svg-kT9PCtMBbY58Doms .node rect,#mermaid-svg-kT9PCtMBbY58Doms .node circle,#mermaid-svg-kT9PCtMBbY58Doms .node ellipse,#mermaid-svg-kT9PCtMBbY58Doms .node polygon,#mermaid-svg-kT9PCtMBbY58Doms .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-kT9PCtMBbY58Doms .rough-node .label text,#mermaid-svg-kT9PCtMBbY58Doms .node .label text,#mermaid-svg-kT9PCtMBbY58Doms .image-shape .label,#mermaid-svg-kT9PCtMBbY58Doms .icon-shape .label{text-anchor:middle;}#mermaid-svg-kT9PCtMBbY58Doms .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-kT9PCtMBbY58Doms .rough-node .label,#mermaid-svg-kT9PCtMBbY58Doms .node .label,#mermaid-svg-kT9PCtMBbY58Doms .image-shape .label,#mermaid-svg-kT9PCtMBbY58Doms .icon-shape .label{text-align:center;}#mermaid-svg-kT9PCtMBbY58Doms .node.clickable{cursor:pointer;}#mermaid-svg-kT9PCtMBbY58Doms .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-kT9PCtMBbY58Doms .arrowheadPath{fill:#333333;}#mermaid-svg-kT9PCtMBbY58Doms .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-kT9PCtMBbY58Doms .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-kT9PCtMBbY58Doms .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-kT9PCtMBbY58Doms .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-kT9PCtMBbY58Doms .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-kT9PCtMBbY58Doms .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-kT9PCtMBbY58Doms .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-kT9PCtMBbY58Doms .cluster text{fill:#333;}#mermaid-svg-kT9PCtMBbY58Doms .cluster span{color:#333;}#mermaid-svg-kT9PCtMBbY58Doms div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-kT9PCtMBbY58Doms .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-kT9PCtMBbY58Doms rect.text{fill:none;stroke-width:0;}#mermaid-svg-kT9PCtMBbY58Doms .icon-shape,#mermaid-svg-kT9PCtMBbY58Doms .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-kT9PCtMBbY58Doms .icon-shape p,#mermaid-svg-kT9PCtMBbY58Doms .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-kT9PCtMBbY58Doms .icon-shape .label rect,#mermaid-svg-kT9PCtMBbY58Doms .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-kT9PCtMBbY58Doms .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-kT9PCtMBbY58Doms .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-kT9PCtMBbY58Doms :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} LLM
Language
VLM
Vision + Language
VLA
Vision + Language + Action
Robot Foundation Model
General Robot Policy
Physical AI
AI in the real world
图 1:AI 能力正在从语言理解、多模态理解,进一步走向物理行动。
2. VLA 到底是什么
VLA 是 Vision-Language-Action 的缩写,可以直译为"视觉-语言-动作模型"。它的目标是把三类信息统一到同一个学习框架中:
| 模态 | 输入或输出 | 在机器人中的作用 |
|---|---|---|
| Vision | 图像、视频、深度图、点云 | 感知环境、识别对象、理解空间关系 |
| Language | 用户指令、任务描述、历史对话 | 表达目标、约束、偏好和任务上下文 |
| Action | 末端位姿、关节角、速度、动作 token | 控制机器人改变世界 |
一个典型 VLA 模型接收当前视觉观测和语言指令,然后输出机器人可执行的动作。例如:
输入:摄像头画面 + "把蓝色积木放到黄色盒子里。"
输出:靠近蓝色积木、调整夹爪姿态、抓取、移动、放入盒子、松开夹爪。
关键在于,VLA 不是简单地把语言模型和控制器串起来,而是希望模型在训练中学会"语义目标如何对应到动作轨迹"。
#mermaid-svg-YKxotdqCzdDSrifZ{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-YKxotdqCzdDSrifZ .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-YKxotdqCzdDSrifZ .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-YKxotdqCzdDSrifZ .error-icon{fill:#552222;}#mermaid-svg-YKxotdqCzdDSrifZ .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-YKxotdqCzdDSrifZ .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-YKxotdqCzdDSrifZ .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-YKxotdqCzdDSrifZ .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-YKxotdqCzdDSrifZ .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-YKxotdqCzdDSrifZ .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-YKxotdqCzdDSrifZ .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-YKxotdqCzdDSrifZ .marker{fill:#333333;stroke:#333333;}#mermaid-svg-YKxotdqCzdDSrifZ .marker.cross{stroke:#333333;}#mermaid-svg-YKxotdqCzdDSrifZ svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-YKxotdqCzdDSrifZ p{margin:0;}#mermaid-svg-YKxotdqCzdDSrifZ .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-YKxotdqCzdDSrifZ .cluster-label text{fill:#333;}#mermaid-svg-YKxotdqCzdDSrifZ .cluster-label span{color:#333;}#mermaid-svg-YKxotdqCzdDSrifZ .cluster-label span p{background-color:transparent;}#mermaid-svg-YKxotdqCzdDSrifZ .label text,#mermaid-svg-YKxotdqCzdDSrifZ span{fill:#333;color:#333;}#mermaid-svg-YKxotdqCzdDSrifZ .node rect,#mermaid-svg-YKxotdqCzdDSrifZ .node circle,#mermaid-svg-YKxotdqCzdDSrifZ .node ellipse,#mermaid-svg-YKxotdqCzdDSrifZ .node polygon,#mermaid-svg-YKxotdqCzdDSrifZ .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-YKxotdqCzdDSrifZ .rough-node .label text,#mermaid-svg-YKxotdqCzdDSrifZ .node .label text,#mermaid-svg-YKxotdqCzdDSrifZ .image-shape .label,#mermaid-svg-YKxotdqCzdDSrifZ .icon-shape .label{text-anchor:middle;}#mermaid-svg-YKxotdqCzdDSrifZ .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-YKxotdqCzdDSrifZ .rough-node .label,#mermaid-svg-YKxotdqCzdDSrifZ .node .label,#mermaid-svg-YKxotdqCzdDSrifZ .image-shape .label,#mermaid-svg-YKxotdqCzdDSrifZ .icon-shape .label{text-align:center;}#mermaid-svg-YKxotdqCzdDSrifZ .node.clickable{cursor:pointer;}#mermaid-svg-YKxotdqCzdDSrifZ .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-YKxotdqCzdDSrifZ .arrowheadPath{fill:#333333;}#mermaid-svg-YKxotdqCzdDSrifZ .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-YKxotdqCzdDSrifZ .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-YKxotdqCzdDSrifZ .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-YKxotdqCzdDSrifZ .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-YKxotdqCzdDSrifZ .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-YKxotdqCzdDSrifZ .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-YKxotdqCzdDSrifZ .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-YKxotdqCzdDSrifZ .cluster text{fill:#333;}#mermaid-svg-YKxotdqCzdDSrifZ .cluster span{color:#333;}#mermaid-svg-YKxotdqCzdDSrifZ div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-YKxotdqCzdDSrifZ .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-YKxotdqCzdDSrifZ rect.text{fill:none;stroke-width:0;}#mermaid-svg-YKxotdqCzdDSrifZ .icon-shape,#mermaid-svg-YKxotdqCzdDSrifZ .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-YKxotdqCzdDSrifZ .icon-shape p,#mermaid-svg-YKxotdqCzdDSrifZ .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-YKxotdqCzdDSrifZ .icon-shape .label rect,#mermaid-svg-YKxotdqCzdDSrifZ .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-YKxotdqCzdDSrifZ .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-YKxotdqCzdDSrifZ .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-YKxotdqCzdDSrifZ :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 视觉观测
Image / Video / Depth
多模态编码器
语言指令
Goal / Constraint / Dialogue
机器人状态
Joint / Gripper / Pose
策略模型
VLA Policy
动作输出
Action Tokens / End-effector Pose / Joint Commands
机器人执行
图 2:VLA 把视觉、语言和机器人状态映射为动作,是具身智能中的策略核心。
3. 为什么机器人需要基础模型
传统机器人系统通常按任务开发:拧螺丝有一套程序,码垛有一套程序,焊接有一套程序。这在结构化工业场景中非常有效,但它也带来一个问题:每增加一个任务,系统都要重新设计、调参和验证。
机器人基础模型的目标,是像大语言模型一样,在大规模、多任务、多场景数据上预训练出通用能力,再针对具体任务微调或调用。
这意味着机器人开发范式可能发生变化:
| 传统机器人开发 | 基础模型式机器人开发 |
|---|---|
| 为每个任务写规则 | 用通用策略适配任务 |
| 强依赖固定环境 | 能处理一定环境变化 |
| 任务迁移成本高 | 通过微调和数据回放迁移 |
| 感知、规划、控制割裂 | 视觉、语言、动作联合学习 |
| 主要靠工程调参 | 数据、模型和系统共同迭代 |
这不是说传统机器人方法会消失。相反,成熟的几何规划、控制理论、安全约束仍然非常重要。但基础模型会成为更高层的"通用能力底座",让机器人从专用自动化走向柔性自动化。
4. VLA 的模型架构:三种典型范式
当前 VLA 模型还没有完全统一的架构,但大致可以分为三类。
4.1 动作 token 范式
这种方法把连续动作离散化为 token,让模型像预测下一个词一样预测下一个动作。RT-2、OpenVLA 等工作都体现了这一路线的思想。
它的优势是可以借用语言模型成熟的训练框架,将动作纳入序列建模;缺点是连续控制精度、动作平滑性和高频控制仍需要额外处理。
#mermaid-svg-sBiiknU56iCfyxkr{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-sBiiknU56iCfyxkr .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-sBiiknU56iCfyxkr .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-sBiiknU56iCfyxkr .error-icon{fill:#552222;}#mermaid-svg-sBiiknU56iCfyxkr .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-sBiiknU56iCfyxkr .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-sBiiknU56iCfyxkr .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-sBiiknU56iCfyxkr .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-sBiiknU56iCfyxkr .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-sBiiknU56iCfyxkr .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-sBiiknU56iCfyxkr .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-sBiiknU56iCfyxkr .marker{fill:#333333;stroke:#333333;}#mermaid-svg-sBiiknU56iCfyxkr .marker.cross{stroke:#333333;}#mermaid-svg-sBiiknU56iCfyxkr svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-sBiiknU56iCfyxkr p{margin:0;}#mermaid-svg-sBiiknU56iCfyxkr .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-sBiiknU56iCfyxkr .cluster-label text{fill:#333;}#mermaid-svg-sBiiknU56iCfyxkr .cluster-label span{color:#333;}#mermaid-svg-sBiiknU56iCfyxkr .cluster-label span p{background-color:transparent;}#mermaid-svg-sBiiknU56iCfyxkr .label text,#mermaid-svg-sBiiknU56iCfyxkr span{fill:#333;color:#333;}#mermaid-svg-sBiiknU56iCfyxkr .node rect,#mermaid-svg-sBiiknU56iCfyxkr .node circle,#mermaid-svg-sBiiknU56iCfyxkr .node ellipse,#mermaid-svg-sBiiknU56iCfyxkr .node polygon,#mermaid-svg-sBiiknU56iCfyxkr .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-sBiiknU56iCfyxkr .rough-node .label text,#mermaid-svg-sBiiknU56iCfyxkr .node .label text,#mermaid-svg-sBiiknU56iCfyxkr .image-shape .label,#mermaid-svg-sBiiknU56iCfyxkr .icon-shape .label{text-anchor:middle;}#mermaid-svg-sBiiknU56iCfyxkr .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-sBiiknU56iCfyxkr .rough-node .label,#mermaid-svg-sBiiknU56iCfyxkr .node .label,#mermaid-svg-sBiiknU56iCfyxkr .image-shape .label,#mermaid-svg-sBiiknU56iCfyxkr .icon-shape .label{text-align:center;}#mermaid-svg-sBiiknU56iCfyxkr .node.clickable{cursor:pointer;}#mermaid-svg-sBiiknU56iCfyxkr .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-sBiiknU56iCfyxkr .arrowheadPath{fill:#333333;}#mermaid-svg-sBiiknU56iCfyxkr .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-sBiiknU56iCfyxkr .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-sBiiknU56iCfyxkr .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-sBiiknU56iCfyxkr .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-sBiiknU56iCfyxkr .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-sBiiknU56iCfyxkr .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-sBiiknU56iCfyxkr .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-sBiiknU56iCfyxkr .cluster text{fill:#333;}#mermaid-svg-sBiiknU56iCfyxkr .cluster span{color:#333;}#mermaid-svg-sBiiknU56iCfyxkr div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-sBiiknU56iCfyxkr .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-sBiiknU56iCfyxkr rect.text{fill:none;stroke-width:0;}#mermaid-svg-sBiiknU56iCfyxkr .icon-shape,#mermaid-svg-sBiiknU56iCfyxkr .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-sBiiknU56iCfyxkr .icon-shape p,#mermaid-svg-sBiiknU56iCfyxkr .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-sBiiknU56iCfyxkr .icon-shape .label rect,#mermaid-svg-sBiiknU56iCfyxkr .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-sBiiknU56iCfyxkr .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-sBiiknU56iCfyxkr .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-sBiiknU56iCfyxkr :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 图像 token
Transformer
语言 token
历史动作 token
下一个动作 token
反量化为机器人动作
4.2 连续动作生成范式
另一类方法直接生成连续动作轨迹,例如 Diffusion Policy 和基于 flow matching 的策略。π0 这类工作就把视觉语言模型的语义能力与连续动作生成结合起来,目标是处理更灵巧、更长时序的机器人任务。
连续动作生成的优势是动作自然、平滑,适合复杂操作;挑战是训练成本、实时性和安全验证。
#mermaid-svg-8WcZbEAOmgUT1q0t{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-8WcZbEAOmgUT1q0t .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-8WcZbEAOmgUT1q0t .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-8WcZbEAOmgUT1q0t .error-icon{fill:#552222;}#mermaid-svg-8WcZbEAOmgUT1q0t .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-8WcZbEAOmgUT1q0t .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-8WcZbEAOmgUT1q0t .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-8WcZbEAOmgUT1q0t .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-8WcZbEAOmgUT1q0t .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-8WcZbEAOmgUT1q0t .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-8WcZbEAOmgUT1q0t .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-8WcZbEAOmgUT1q0t .marker{fill:#333333;stroke:#333333;}#mermaid-svg-8WcZbEAOmgUT1q0t .marker.cross{stroke:#333333;}#mermaid-svg-8WcZbEAOmgUT1q0t svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-8WcZbEAOmgUT1q0t p{margin:0;}#mermaid-svg-8WcZbEAOmgUT1q0t .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-8WcZbEAOmgUT1q0t .cluster-label text{fill:#333;}#mermaid-svg-8WcZbEAOmgUT1q0t .cluster-label span{color:#333;}#mermaid-svg-8WcZbEAOmgUT1q0t .cluster-label span p{background-color:transparent;}#mermaid-svg-8WcZbEAOmgUT1q0t .label text,#mermaid-svg-8WcZbEAOmgUT1q0t span{fill:#333;color:#333;}#mermaid-svg-8WcZbEAOmgUT1q0t .node rect,#mermaid-svg-8WcZbEAOmgUT1q0t .node circle,#mermaid-svg-8WcZbEAOmgUT1q0t .node ellipse,#mermaid-svg-8WcZbEAOmgUT1q0t .node polygon,#mermaid-svg-8WcZbEAOmgUT1q0t .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-8WcZbEAOmgUT1q0t .rough-node .label text,#mermaid-svg-8WcZbEAOmgUT1q0t .node .label text,#mermaid-svg-8WcZbEAOmgUT1q0t .image-shape .label,#mermaid-svg-8WcZbEAOmgUT1q0t .icon-shape .label{text-anchor:middle;}#mermaid-svg-8WcZbEAOmgUT1q0t .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-8WcZbEAOmgUT1q0t .rough-node .label,#mermaid-svg-8WcZbEAOmgUT1q0t .node .label,#mermaid-svg-8WcZbEAOmgUT1q0t .image-shape .label,#mermaid-svg-8WcZbEAOmgUT1q0t .icon-shape .label{text-align:center;}#mermaid-svg-8WcZbEAOmgUT1q0t .node.clickable{cursor:pointer;}#mermaid-svg-8WcZbEAOmgUT1q0t .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-8WcZbEAOmgUT1q0t .arrowheadPath{fill:#333333;}#mermaid-svg-8WcZbEAOmgUT1q0t .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-8WcZbEAOmgUT1q0t .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-8WcZbEAOmgUT1q0t .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-8WcZbEAOmgUT1q0t .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-8WcZbEAOmgUT1q0t .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-8WcZbEAOmgUT1q0t .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-8WcZbEAOmgUT1q0t .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-8WcZbEAOmgUT1q0t .cluster text{fill:#333;}#mermaid-svg-8WcZbEAOmgUT1q0t .cluster span{color:#333;}#mermaid-svg-8WcZbEAOmgUT1q0t div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-8WcZbEAOmgUT1q0t .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-8WcZbEAOmgUT1q0t rect.text{fill:none;stroke-width:0;}#mermaid-svg-8WcZbEAOmgUT1q0t .icon-shape,#mermaid-svg-8WcZbEAOmgUT1q0t .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-8WcZbEAOmgUT1q0t .icon-shape p,#mermaid-svg-8WcZbEAOmgUT1q0t .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-8WcZbEAOmgUT1q0t .icon-shape .label rect,#mermaid-svg-8WcZbEAOmgUT1q0t .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-8WcZbEAOmgUT1q0t .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-8WcZbEAOmgUT1q0t .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-8WcZbEAOmgUT1q0t :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 当前观测
条件策略模型
语言目标
生成一段动作轨迹
执行前若干步
4.3 双系统范式
一些新模型采用类似"慢思考 + 快反应"的双系统架构:上层模型负责理解任务、空间关系和语义约束,下层模型负责生成实时动作。
这种设计符合机器人系统的实际需求。因为高层语义推理不一定要每 20 毫秒执行一次,但底层控制必须稳定、快速、连续。
#mermaid-svg-5gdb7VVFo5YgliyD{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-5gdb7VVFo5YgliyD .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-5gdb7VVFo5YgliyD .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-5gdb7VVFo5YgliyD .error-icon{fill:#552222;}#mermaid-svg-5gdb7VVFo5YgliyD .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-5gdb7VVFo5YgliyD .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-5gdb7VVFo5YgliyD .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-5gdb7VVFo5YgliyD .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-5gdb7VVFo5YgliyD .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-5gdb7VVFo5YgliyD .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-5gdb7VVFo5YgliyD .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-5gdb7VVFo5YgliyD .marker{fill:#333333;stroke:#333333;}#mermaid-svg-5gdb7VVFo5YgliyD .marker.cross{stroke:#333333;}#mermaid-svg-5gdb7VVFo5YgliyD svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-5gdb7VVFo5YgliyD p{margin:0;}#mermaid-svg-5gdb7VVFo5YgliyD .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-5gdb7VVFo5YgliyD .cluster-label text{fill:#333;}#mermaid-svg-5gdb7VVFo5YgliyD .cluster-label span{color:#333;}#mermaid-svg-5gdb7VVFo5YgliyD .cluster-label span p{background-color:transparent;}#mermaid-svg-5gdb7VVFo5YgliyD .label text,#mermaid-svg-5gdb7VVFo5YgliyD span{fill:#333;color:#333;}#mermaid-svg-5gdb7VVFo5YgliyD .node rect,#mermaid-svg-5gdb7VVFo5YgliyD .node circle,#mermaid-svg-5gdb7VVFo5YgliyD .node ellipse,#mermaid-svg-5gdb7VVFo5YgliyD .node polygon,#mermaid-svg-5gdb7VVFo5YgliyD .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-5gdb7VVFo5YgliyD .rough-node .label text,#mermaid-svg-5gdb7VVFo5YgliyD .node .label text,#mermaid-svg-5gdb7VVFo5YgliyD .image-shape .label,#mermaid-svg-5gdb7VVFo5YgliyD .icon-shape .label{text-anchor:middle;}#mermaid-svg-5gdb7VVFo5YgliyD .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-5gdb7VVFo5YgliyD .rough-node .label,#mermaid-svg-5gdb7VVFo5YgliyD .node .label,#mermaid-svg-5gdb7VVFo5YgliyD .image-shape .label,#mermaid-svg-5gdb7VVFo5YgliyD .icon-shape .label{text-align:center;}#mermaid-svg-5gdb7VVFo5YgliyD .node.clickable{cursor:pointer;}#mermaid-svg-5gdb7VVFo5YgliyD .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-5gdb7VVFo5YgliyD .arrowheadPath{fill:#333333;}#mermaid-svg-5gdb7VVFo5YgliyD .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-5gdb7VVFo5YgliyD .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-5gdb7VVFo5YgliyD .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-5gdb7VVFo5YgliyD .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-5gdb7VVFo5YgliyD .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-5gdb7VVFo5YgliyD .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-5gdb7VVFo5YgliyD .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-5gdb7VVFo5YgliyD .cluster text{fill:#333;}#mermaid-svg-5gdb7VVFo5YgliyD .cluster span{color:#333;}#mermaid-svg-5gdb7VVFo5YgliyD div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-5gdb7VVFo5YgliyD .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-5gdb7VVFo5YgliyD rect.text{fill:none;stroke-width:0;}#mermaid-svg-5gdb7VVFo5YgliyD .icon-shape,#mermaid-svg-5gdb7VVFo5YgliyD .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-5gdb7VVFo5YgliyD .icon-shape p,#mermaid-svg-5gdb7VVFo5YgliyD .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-5gdb7VVFo5YgliyD .icon-shape .label rect,#mermaid-svg-5gdb7VVFo5YgliyD .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-5gdb7VVFo5YgliyD .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-5gdb7VVFo5YgliyD .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-5gdb7VVFo5YgliyD :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} System 2
视觉语言推理
任务理解 / 空间关系 / 子目标
System 1
实时动作策略
流畅运动 / 抓取 / 双臂协作
机器人本体
图 3:VLA 架构正在从单纯序列预测,走向语义推理与连续控制结合。
5. 训练 VLA:真正难的是动作数据
VLA 的瓶颈不是"有没有模型",而是"有没有足够好的机器人数据"。
互联网有海量文本和图片,但机器人动作数据天然稀缺。一次机器人示教需要硬件、场地、人工、传感器同步和安全维护。更麻烦的是,不同机器人的动作空间完全不同:机械臂、人形机器人、移动底盘、灵巧手的动作格式很难直接统一。
5.1 VLA 数据通常包含什么
一条高质量机器人训练样本,往往不只是一个视频,而是一个完整 episode:
| 字段 | 示例 |
|---|---|
| 语言指令 | "把红色杯子放到托盘上" |
| 多视角图像 | 头部相机、腕部相机、第三视角相机 |
| 深度或点云 | 物体距离、空间结构 |
| 机器人本体状态 | 关节角、末端位姿、夹爪状态 |
| 动作序列 | 末端位姿增量、夹爪开合、底盘速度 |
| 成功标记 | 成功、失败、中断、人工接管 |
| 环境元数据 | 物体种类、场景布局、任务阶段 |
5.2 数据来源的组合拳
#mermaid-svg-pPyAB2hI5rKsSblx{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-pPyAB2hI5rKsSblx .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-pPyAB2hI5rKsSblx .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-pPyAB2hI5rKsSblx .error-icon{fill:#552222;}#mermaid-svg-pPyAB2hI5rKsSblx .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-pPyAB2hI5rKsSblx .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-pPyAB2hI5rKsSblx .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-pPyAB2hI5rKsSblx .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-pPyAB2hI5rKsSblx .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-pPyAB2hI5rKsSblx .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-pPyAB2hI5rKsSblx .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-pPyAB2hI5rKsSblx .marker{fill:#333333;stroke:#333333;}#mermaid-svg-pPyAB2hI5rKsSblx .marker.cross{stroke:#333333;}#mermaid-svg-pPyAB2hI5rKsSblx svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-pPyAB2hI5rKsSblx p{margin:0;}#mermaid-svg-pPyAB2hI5rKsSblx .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-pPyAB2hI5rKsSblx .cluster-label text{fill:#333;}#mermaid-svg-pPyAB2hI5rKsSblx .cluster-label span{color:#333;}#mermaid-svg-pPyAB2hI5rKsSblx .cluster-label span p{background-color:transparent;}#mermaid-svg-pPyAB2hI5rKsSblx .label text,#mermaid-svg-pPyAB2hI5rKsSblx span{fill:#333;color:#333;}#mermaid-svg-pPyAB2hI5rKsSblx .node rect,#mermaid-svg-pPyAB2hI5rKsSblx .node circle,#mermaid-svg-pPyAB2hI5rKsSblx .node ellipse,#mermaid-svg-pPyAB2hI5rKsSblx .node polygon,#mermaid-svg-pPyAB2hI5rKsSblx .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-pPyAB2hI5rKsSblx .rough-node .label text,#mermaid-svg-pPyAB2hI5rKsSblx .node .label text,#mermaid-svg-pPyAB2hI5rKsSblx .image-shape .label,#mermaid-svg-pPyAB2hI5rKsSblx .icon-shape .label{text-anchor:middle;}#mermaid-svg-pPyAB2hI5rKsSblx .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-pPyAB2hI5rKsSblx .rough-node .label,#mermaid-svg-pPyAB2hI5rKsSblx .node .label,#mermaid-svg-pPyAB2hI5rKsSblx .image-shape .label,#mermaid-svg-pPyAB2hI5rKsSblx .icon-shape .label{text-align:center;}#mermaid-svg-pPyAB2hI5rKsSblx .node.clickable{cursor:pointer;}#mermaid-svg-pPyAB2hI5rKsSblx .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-pPyAB2hI5rKsSblx .arrowheadPath{fill:#333333;}#mermaid-svg-pPyAB2hI5rKsSblx .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-pPyAB2hI5rKsSblx .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-pPyAB2hI5rKsSblx .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-pPyAB2hI5rKsSblx .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-pPyAB2hI5rKsSblx .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-pPyAB2hI5rKsSblx .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-pPyAB2hI5rKsSblx .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-pPyAB2hI5rKsSblx .cluster text{fill:#333;}#mermaid-svg-pPyAB2hI5rKsSblx .cluster span{color:#333;}#mermaid-svg-pPyAB2hI5rKsSblx div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-pPyAB2hI5rKsSblx .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-pPyAB2hI5rKsSblx rect.text{fill:none;stroke-width:0;}#mermaid-svg-pPyAB2hI5rKsSblx .icon-shape,#mermaid-svg-pPyAB2hI5rKsSblx .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-pPyAB2hI5rKsSblx .icon-shape p,#mermaid-svg-pPyAB2hI5rKsSblx .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-pPyAB2hI5rKsSblx .icon-shape .label rect,#mermaid-svg-pPyAB2hI5rKsSblx .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-pPyAB2hI5rKsSblx .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-pPyAB2hI5rKsSblx .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-pPyAB2hI5rKsSblx :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 远程操作示教
机器人数据池
真实机器人自主探索
人类视频和动作迁移
仿真和合成数据
清洗 / 标注 / 对齐
VLA 预训练
任务微调
真实部署
图 4:VLA 的核心壁垒不是单点算法,而是持续积累和清洗动作数据的能力。
5.3 为什么失败数据也很重要
许多团队早期只收集成功示范,但真实部署中,失败样本同样重要。机器人需要知道:
- 什么样的抓取姿态容易滑落;
- 什么样的路径容易碰撞;
- 哪些场景应该请求人类帮助;
- 哪些动作虽然能完成任务,但不安全或不稳定。
一个成熟的 VLA 数据系统,应该把失败分类、人工纠错和自动回放纳入闭环。否则模型只能学会"理想情况下怎么做",学不会"出错以后怎么办"。
6. 从模型到系统:VLA 不能单独上岗
很多 VLA demo 看起来像是"一个模型控制一台机器人"。但在真实产品中,VLA 只是系统的一部分。
一个可部署机器人至少还需要:
- 传感器标定和时间同步;
- 场景地图与定位;
- 碰撞检测和速度限制;
- 低层控制器;
- 异常检测;
- 任务恢复;
- 日志系统;
- 人工接管;
- 权限和安全策略。
因此,更合理的架构不是"VLA 替代所有模块",而是"VLA 成为通用策略核心,传统机器人系统提供安全、控制和工程可靠性"。
#mermaid-svg-HGwNRsnrj6UXyEHw{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-HGwNRsnrj6UXyEHw .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-HGwNRsnrj6UXyEHw .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-HGwNRsnrj6UXyEHw .error-icon{fill:#552222;}#mermaid-svg-HGwNRsnrj6UXyEHw .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-HGwNRsnrj6UXyEHw .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-HGwNRsnrj6UXyEHw .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-HGwNRsnrj6UXyEHw .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-HGwNRsnrj6UXyEHw .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-HGwNRsnrj6UXyEHw .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-HGwNRsnrj6UXyEHw .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-HGwNRsnrj6UXyEHw .marker{fill:#333333;stroke:#333333;}#mermaid-svg-HGwNRsnrj6UXyEHw .marker.cross{stroke:#333333;}#mermaid-svg-HGwNRsnrj6UXyEHw svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-HGwNRsnrj6UXyEHw p{margin:0;}#mermaid-svg-HGwNRsnrj6UXyEHw .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-HGwNRsnrj6UXyEHw .cluster-label text{fill:#333;}#mermaid-svg-HGwNRsnrj6UXyEHw .cluster-label span{color:#333;}#mermaid-svg-HGwNRsnrj6UXyEHw .cluster-label span p{background-color:transparent;}#mermaid-svg-HGwNRsnrj6UXyEHw .label text,#mermaid-svg-HGwNRsnrj6UXyEHw span{fill:#333;color:#333;}#mermaid-svg-HGwNRsnrj6UXyEHw .node rect,#mermaid-svg-HGwNRsnrj6UXyEHw .node circle,#mermaid-svg-HGwNRsnrj6UXyEHw .node ellipse,#mermaid-svg-HGwNRsnrj6UXyEHw .node polygon,#mermaid-svg-HGwNRsnrj6UXyEHw .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-HGwNRsnrj6UXyEHw .rough-node .label text,#mermaid-svg-HGwNRsnrj6UXyEHw .node .label text,#mermaid-svg-HGwNRsnrj6UXyEHw .image-shape .label,#mermaid-svg-HGwNRsnrj6UXyEHw .icon-shape .label{text-anchor:middle;}#mermaid-svg-HGwNRsnrj6UXyEHw .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-HGwNRsnrj6UXyEHw .rough-node .label,#mermaid-svg-HGwNRsnrj6UXyEHw .node .label,#mermaid-svg-HGwNRsnrj6UXyEHw .image-shape .label,#mermaid-svg-HGwNRsnrj6UXyEHw .icon-shape .label{text-align:center;}#mermaid-svg-HGwNRsnrj6UXyEHw .node.clickable{cursor:pointer;}#mermaid-svg-HGwNRsnrj6UXyEHw .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-HGwNRsnrj6UXyEHw .arrowheadPath{fill:#333333;}#mermaid-svg-HGwNRsnrj6UXyEHw .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-HGwNRsnrj6UXyEHw .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-HGwNRsnrj6UXyEHw .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-HGwNRsnrj6UXyEHw .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-HGwNRsnrj6UXyEHw .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-HGwNRsnrj6UXyEHw .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-HGwNRsnrj6UXyEHw .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-HGwNRsnrj6UXyEHw .cluster text{fill:#333;}#mermaid-svg-HGwNRsnrj6UXyEHw .cluster span{color:#333;}#mermaid-svg-HGwNRsnrj6UXyEHw div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-HGwNRsnrj6UXyEHw .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-HGwNRsnrj6UXyEHw rect.text{fill:none;stroke-width:0;}#mermaid-svg-HGwNRsnrj6UXyEHw .icon-shape,#mermaid-svg-HGwNRsnrj6UXyEHw .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-HGwNRsnrj6UXyEHw .icon-shape p,#mermaid-svg-HGwNRsnrj6UXyEHw .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-HGwNRsnrj6UXyEHw .icon-shape .label rect,#mermaid-svg-HGwNRsnrj6UXyEHw .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-HGwNRsnrj6UXyEHw .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-HGwNRsnrj6UXyEHw .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-HGwNRsnrj6UXyEHw :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 用户指令
VLA 策略核心
多模态观测
候选动作 / 子目标
安全检查
碰撞 / 力矩 / 人体距离
运动规划与控制
机器人执行
拒绝 / 降级 / 请求接管
图 5:VLA 更像机器人系统的大脑皮层,而不是完整机器人产品本身。
7. 人形机器人为什么重新变热
人形机器人并不是机器人唯一形态,但它在具身智能时代重新受到关注,原因有三点。
第一,人类环境是为人类身体设计的。门把手、楼梯、桌椅、工具、货架高度都默认服务于人类尺度。如果机器人拥有类似人类的身体结构,它在现有环境中的适配成本可能更低。
第二,双臂和全身协同适合复杂操作。很多现实任务并不是单机械臂能轻松完成的,例如搬箱子、叠衣服、开门、扶物体、整理桌面等。
第三,人形机器人天然适合作为通用机器人基础模型的承载平台。它的任务空间更广,数据价值更高,也更容易形成跨场景能力。
但必须强调:人形机器人热,并不等于所有场景都需要人形。工业搬运、仓储分拣、清洁巡检等任务中,轮式底盘、机械臂和专用夹具往往更便宜、更稳定。人形机器人的价值在于通用性,而不是单项效率。
#mermaid-svg-eStofXvPJ7oW5EeT{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-eStofXvPJ7oW5EeT .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-eStofXvPJ7oW5EeT .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-eStofXvPJ7oW5EeT .error-icon{fill:#552222;}#mermaid-svg-eStofXvPJ7oW5EeT .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-eStofXvPJ7oW5EeT .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-eStofXvPJ7oW5EeT .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-eStofXvPJ7oW5EeT .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-eStofXvPJ7oW5EeT .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-eStofXvPJ7oW5EeT .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-eStofXvPJ7oW5EeT .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-eStofXvPJ7oW5EeT .marker{fill:#333333;stroke:#333333;}#mermaid-svg-eStofXvPJ7oW5EeT .marker.cross{stroke:#333333;}#mermaid-svg-eStofXvPJ7oW5EeT svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-eStofXvPJ7oW5EeT p{margin:0;}#mermaid-svg-eStofXvPJ7oW5EeT :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 通用平台潜力 复杂专用自动化 成熟专用设备 低成本通用探索 人形机器人 移动双臂机器人 工业机械臂 仓储 AMR 扫地机器人 专用形态 通用形态 低复杂度任务 高复杂度任务 机器人形态与场景适配
8. 产业落地:哪些场景会先跑出来
VLA 和机器人基础模型的商业化不会从"全能家庭机器人"开始。更可能先从高频、可约束、有明确成本收益的场景突破。
| 场景 | 落地可能性 | 原因 |
|---|---|---|
| 仓储分拣 | 高 | 高频重复、环境可控、ROI 清晰 |
| 工厂上下料 | 高 | 任务边界清楚,柔性自动化需求强 |
| 质检与巡检 | 中高 | 以感知和移动为主,风险较低 |
| 商业空间服务 | 中 | 环境半开放,需要人机交互 |
| 实验室自动化 | 中 | 流程标准化,设备和样本昂贵 |
| 家庭服务 | 中低 | 环境长尾、偏好复杂、安全要求高 |
| 通用人形助理 | 长期 | 技术和成本都未成熟 |
从投资和产品角度看,最值得关注的是"场景足够窄,但数据足够多"的任务。因为这类任务最容易形成数据闭环。
8.1 第一阶段:辅助人,而不是替代人
早期机器人更现实的价值,不是完全替代人类,而是降低人的重复劳动强度。例如让机器人完成搬运、递送、简单分拣和危险区域巡检,人类负责异常处理和复杂判断。
8.2 第二阶段:从单点任务到流程自动化
当机器人能稳定完成多个子任务后,价值会从"一个动作"转向"一个流程"。例如仓库中不只是抓取货物,还包括识别、搬运、扫描、装箱和异常上报。
8.3 第三阶段:跨场景迁移
真正的机器人基础模型,应该能把在一个场景学到的能力迁移到另一个场景。例如从"抓取厨房杯子"迁移到"抓取实验室试剂瓶",从"整理桌面"迁移到"整理货架"。这一步是通用机器人商业化的关键。
9. 未来判断:VLA 会成为机器人时代的 Android 吗
一个常见问题是:VLA 会不会像 Android 之于智能手机一样,成为机器人时代的通用操作系统?
答案可能是:它不会单独成为操作系统,但会成为机器人操作系统中最关键的智能层。
机器人时代的"操作系统"不会只是软件 API,而是由模型、数据、硬件抽象、仿真、工具链、安全框架和应用生态共同组成。VLA 在其中扮演的是通用策略和语义行动接口。
#mermaid-svg-R0GYrOVxyd1GCBSZ{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-R0GYrOVxyd1GCBSZ .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-R0GYrOVxyd1GCBSZ .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-R0GYrOVxyd1GCBSZ .error-icon{fill:#552222;}#mermaid-svg-R0GYrOVxyd1GCBSZ .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-R0GYrOVxyd1GCBSZ .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-R0GYrOVxyd1GCBSZ .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-R0GYrOVxyd1GCBSZ .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-R0GYrOVxyd1GCBSZ .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-R0GYrOVxyd1GCBSZ .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-R0GYrOVxyd1GCBSZ .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-R0GYrOVxyd1GCBSZ .marker{fill:#333333;stroke:#333333;}#mermaid-svg-R0GYrOVxyd1GCBSZ .marker.cross{stroke:#333333;}#mermaid-svg-R0GYrOVxyd1GCBSZ svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-R0GYrOVxyd1GCBSZ p{margin:0;}#mermaid-svg-R0GYrOVxyd1GCBSZ .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-R0GYrOVxyd1GCBSZ .cluster-label text{fill:#333;}#mermaid-svg-R0GYrOVxyd1GCBSZ .cluster-label span{color:#333;}#mermaid-svg-R0GYrOVxyd1GCBSZ .cluster-label span p{background-color:transparent;}#mermaid-svg-R0GYrOVxyd1GCBSZ .label text,#mermaid-svg-R0GYrOVxyd1GCBSZ span{fill:#333;color:#333;}#mermaid-svg-R0GYrOVxyd1GCBSZ .node rect,#mermaid-svg-R0GYrOVxyd1GCBSZ .node circle,#mermaid-svg-R0GYrOVxyd1GCBSZ .node ellipse,#mermaid-svg-R0GYrOVxyd1GCBSZ .node polygon,#mermaid-svg-R0GYrOVxyd1GCBSZ .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-R0GYrOVxyd1GCBSZ .rough-node .label text,#mermaid-svg-R0GYrOVxyd1GCBSZ .node .label text,#mermaid-svg-R0GYrOVxyd1GCBSZ .image-shape .label,#mermaid-svg-R0GYrOVxyd1GCBSZ .icon-shape .label{text-anchor:middle;}#mermaid-svg-R0GYrOVxyd1GCBSZ .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-R0GYrOVxyd1GCBSZ .rough-node .label,#mermaid-svg-R0GYrOVxyd1GCBSZ .node .label,#mermaid-svg-R0GYrOVxyd1GCBSZ .image-shape .label,#mermaid-svg-R0GYrOVxyd1GCBSZ .icon-shape .label{text-align:center;}#mermaid-svg-R0GYrOVxyd1GCBSZ .node.clickable{cursor:pointer;}#mermaid-svg-R0GYrOVxyd1GCBSZ .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-R0GYrOVxyd1GCBSZ .arrowheadPath{fill:#333333;}#mermaid-svg-R0GYrOVxyd1GCBSZ .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-R0GYrOVxyd1GCBSZ .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-R0GYrOVxyd1GCBSZ .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-R0GYrOVxyd1GCBSZ .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-R0GYrOVxyd1GCBSZ .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-R0GYrOVxyd1GCBSZ .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-R0GYrOVxyd1GCBSZ .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-R0GYrOVxyd1GCBSZ .cluster text{fill:#333;}#mermaid-svg-R0GYrOVxyd1GCBSZ .cluster span{color:#333;}#mermaid-svg-R0GYrOVxyd1GCBSZ div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-R0GYrOVxyd1GCBSZ .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-R0GYrOVxyd1GCBSZ rect.text{fill:none;stroke-width:0;}#mermaid-svg-R0GYrOVxyd1GCBSZ .icon-shape,#mermaid-svg-R0GYrOVxyd1GCBSZ .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-R0GYrOVxyd1GCBSZ .icon-shape p,#mermaid-svg-R0GYrOVxyd1GCBSZ .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-R0GYrOVxyd1GCBSZ .icon-shape .label rect,#mermaid-svg-R0GYrOVxyd1GCBSZ .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-R0GYrOVxyd1GCBSZ .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-R0GYrOVxyd1GCBSZ .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-R0GYrOVxyd1GCBSZ :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 应用层
仓储 / 制造 / 服务 / 家庭
任务接口
语言目标 / 工作流 / API
智能层
VLA / World Model / Planner
机器人中间件
ROS / Isaac / Runtime
控制层
MPC / Whole-body Control / Safety
硬件层
机械臂 / 底盘 / 人形 / 传感器
数据闭环
采集 / 标注 / 训练 / 评估
图 6:未来机器人平台的核心不是单个模型,而是模型、数据、工具链和硬件抽象的组合生态。
未来几年,VLA 的发展大概率会出现以下趋势:
| 趋势 | 判断 |
|---|---|
| 开源 VLA 加速普及 | OpenVLA 等项目会降低研究和创业门槛 |
| 连续动作生成更重要 | 灵巧操作需要比离散 token 更平滑的动作表达 |
| 双系统架构成为主流 | 语义推理和实时控制会进一步分工 |
| 数据标准化成为基础设施 | 跨机器人、跨任务的数据格式会变得更关键 |
| 仿真数据占比提高 | 合成数据会用于补足长尾和高风险场景 |
| 安全评估体系独立出来 | 机器人基础模型必须面对物理安全和行为边界 |
结语
VLA 的本质,是让 AI 从"理解世界"走向"改变世界"。它不是把聊天机器人塞进机器壳里,而是把视觉、语言、空间、动作和反馈纳入同一个学习闭环。
这条路不会轻松。机器人数据比文本数据昂贵,物理世界比网页世界残酷,安全要求也远高于普通软件。但从技术趋势看,VLA 和机器人基础模型正在把机器人开发从"为每个任务写规则",推向"用数据训练通用行动能力"。
如果说大语言模型是数字世界的通用接口,那么 VLA 很可能成为物理世界的通用行动接口。真正的机器人时代,也许不会以某个炫目的单点 demo 开始,而会从一次次稳定、可恢复、可复用的真实任务中慢慢到来。
参考资料
- Brohan et al., RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control , 2023. https://arxiv.org/abs/2307.15818
- Kim et al., OpenVLA: An Open-Source Vision-Language-Action Model , 2024. https://arxiv.org/abs/2406.09246
- Black et al., π0: A Vision-Language-Action Flow Model for General Robot Control , 2024. https://arxiv.org/abs/2410.24164
- Gemini Robotics Team, Gemini Robotics: Bringing AI into the Physical World , 2025. https://arxiv.org/abs/2503.20020
- NVIDIA et al., GR00T N1: An Open Foundation Model for Generalist Humanoid Robots , 2025. https://arxiv.org/abs/2503.14734
- Open X-Embodiment Collaboration, Open X-Embodiment: Robotic Learning Datasets and RT-X Models , 2023. https://arxiv.org/abs/2310.08864
- Chi et al., Diffusion Policy: Visuomotor Policy Learning via Action Diffusion , 2023. https://arxiv.org/abs/2303.04137