学习 VLA 第 1 天：VLA 概述与学习路线

1. 什么是 VLA

在聊怎么学之前，先把这个词讲清楚。VLA 是 Vision-Language-Action model（视觉-语言-动作模型）的缩写，它是当前具身智能和机器人学习领域最核心的一类模型。

简单说，VLA 要解决的问题是：让机器人看到环境、听懂人类指令，然后直接输出可执行的动作。它的输入通常有两类：

视觉输入：来自机器人相机（单目/双目/多视角）的图像或视频流；
语言指令：人类用自然语言下达的任务，比如「把桌上的红色杯子拿给我」。

它的输出不是文字，而是让机器人执行的动作：机械臂末端位姿、关节角度、夹爪开合度，或者是这些动作的序列。

1.1 从 VLM 到 VLA

理解 VLA，最好的切入点是先看它的「近亲」------VLM（Vision-Language Model，视觉-语言模型）。

VLM（如 GPT-4V、Qwen-VL、LLaVA）做的是「看图 + 读文字 → 输出文字」，它已经在大规模图文数据上学会了很强的语义理解和常识推理能力。但 VLM 有一个天然短板：它的输出被限制在文本空间里。它能回答「杯子在哪里」，却无法自己伸出手去拿杯子。

VLA 的核心思路，正是把 VLM 的语义理解能力，从「文字空间」扩展到「动作空间」。也就是说：

VLA ≈ 视觉理解 + 语言理解 + 动作生成能力

这个改动看似只是把输出换成了动作，实际含义却很大------它意味着模型从「观察世界、描述世界」走向了「理解世界、作用于世界」，

下图可以直观地看出 VLM 与 VLA 的区别：一个只能"说出文字答案"，另一个能"给出可执行动作"。
#mermaid-svg-SHx2JAiMTnIbF9hC{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-SHx2JAiMTnIbF9hC .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-SHx2JAiMTnIbF9hC .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-SHx2JAiMTnIbF9hC .error-icon{fill:#552222;}#mermaid-svg-SHx2JAiMTnIbF9hC .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-SHx2JAiMTnIbF9hC .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-SHx2JAiMTnIbF9hC .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-SHx2JAiMTnIbF9hC .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-SHx2JAiMTnIbF9hC .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-SHx2JAiMTnIbF9hC .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-SHx2JAiMTnIbF9hC .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-SHx2JAiMTnIbF9hC .marker{fill:#333333;stroke:#333333;}#mermaid-svg-SHx2JAiMTnIbF9hC .marker.cross{stroke:#333333;}#mermaid-svg-SHx2JAiMTnIbF9hC svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-SHx2JAiMTnIbF9hC p{margin:0;}#mermaid-svg-SHx2JAiMTnIbF9hC .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-SHx2JAiMTnIbF9hC .cluster-label text{fill:#333;}#mermaid-svg-SHx2JAiMTnIbF9hC .cluster-label span{color:#333;}#mermaid-svg-SHx2JAiMTnIbF9hC .cluster-label span p{background-color:transparent;}#mermaid-svg-SHx2JAiMTnIbF9hC .label text,#mermaid-svg-SHx2JAiMTnIbF9hC span{fill:#333;color:#333;}#mermaid-svg-SHx2JAiMTnIbF9hC .node rect,#mermaid-svg-SHx2JAiMTnIbF9hC .node circle,#mermaid-svg-SHx2JAiMTnIbF9hC .node ellipse,#mermaid-svg-SHx2JAiMTnIbF9hC .node polygon,#mermaid-svg-SHx2JAiMTnIbF9hC .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-SHx2JAiMTnIbF9hC .rough-node .label text,#mermaid-svg-SHx2JAiMTnIbF9hC .node .label text,#mermaid-svg-SHx2JAiMTnIbF9hC .image-shape .label,#mermaid-svg-SHx2JAiMTnIbF9hC .icon-shape .label{text-anchor:middle;}#mermaid-svg-SHx2JAiMTnIbF9hC .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-SHx2JAiMTnIbF9hC .rough-node .label,#mermaid-svg-SHx2JAiMTnIbF9hC .node .label,#mermaid-svg-SHx2JAiMTnIbF9hC .image-shape .label,#mermaid-svg-SHx2JAiMTnIbF9hC .icon-shape .label{text-align:center;}#mermaid-svg-SHx2JAiMTnIbF9hC .node.clickable{cursor:pointer;}#mermaid-svg-SHx2JAiMTnIbF9hC .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-SHx2JAiMTnIbF9hC .arrowheadPath{fill:#333333;}#mermaid-svg-SHx2JAiMTnIbF9hC .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-SHx2JAiMTnIbF9hC .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-SHx2JAiMTnIbF9hC .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-SHx2JAiMTnIbF9hC .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-SHx2JAiMTnIbF9hC .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-SHx2JAiMTnIbF9hC .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-SHx2JAiMTnIbF9hC .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-SHx2JAiMTnIbF9hC .cluster text{fill:#333;}#mermaid-svg-SHx2JAiMTnIbF9hC .cluster span{color:#333;}#mermaid-svg-SHx2JAiMTnIbF9hC div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-SHx2JAiMTnIbF9hC .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-SHx2JAiMTnIbF9hC rect.text{fill:none;stroke-width:0;}#mermaid-svg-SHx2JAiMTnIbF9hC .icon-shape,#mermaid-svg-SHx2JAiMTnIbF9hC .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-SHx2JAiMTnIbF9hC .icon-shape p,#mermaid-svg-SHx2JAiMTnIbF9hC .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-SHx2JAiMTnIbF9hC .icon-shape .label rect,#mermaid-svg-SHx2JAiMTnIbF9hC .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-SHx2JAiMTnIbF9hC .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-SHx2JAiMTnIbF9hC .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-SHx2JAiMTnIbF9hC :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 输出空间：文字 → 动作
VLA 视觉-语言-动作模型
视觉输入
动作输出
语言指令
VLM 视觉-语言模型
视觉输入
文本输出
语言指令

这是迈向通用机器人（Generalist Robot）的关键一步。

1.2 VLA 的工作方式

虽然不同 VLA 模型的实现细节不同，但大体可以分为两种主流范式：

范式一：把动作当作「特殊的 Token」

代表工作是 Google DeepMind 的 RT-2。它的做法很巧妙：

先有一个训练好的 VLM（负责看图、读指令）；
把机器人动作离散化成一个个「动作 Token」（Action Token）；
把这些动作 Token 当作一种新的词汇，加入 VLM 的词表中一起训练。

这样，模型在输入「图像 + 指令」后，不再输出一段自然语言，而是输出一串动作 Token，再由解码器把这些 Token 还原成真实的机器人动作。机器人控制问题就被转化成了一个「序列生成」问题。

范式二：用生成式模型直接预测连续动作

另一类方法不把动作离散化，而是用生成式模型直接在连续空间里生成动作，比如：

扩散模型（Diffusion Policy）：从噪声逐步去噪，生成动作序列；
流匹配（Flow Matching） ：Physical Intelligence 的 π0（pi-zero） 就采用这种方式，把小型的动作专家模型和 VLM 主干结合在一起，以高频输出精细的动作。

无论哪种范式，VLA 最终的目标都是一致的：用一个大模型，统一处理「感知---理解---决策---控制」这条链路，而不是像传统机器人系统那样，

两种范式可以概括为下面的流程：
#mermaid-svg-Kp3t7ZE1hDQJB7ld{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-Kp3t7ZE1hDQJB7ld .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .error-icon{fill:#552222;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .marker{fill:#333333;stroke:#333333;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .marker.cross{stroke:#333333;}#mermaid-svg-Kp3t7ZE1hDQJB7ld svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-Kp3t7ZE1hDQJB7ld p{margin:0;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .cluster-label text{fill:#333;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .cluster-label span{color:#333;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .cluster-label span p{background-color:transparent;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .label text,#mermaid-svg-Kp3t7ZE1hDQJB7ld span{fill:#333;color:#333;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .node rect,#mermaid-svg-Kp3t7ZE1hDQJB7ld .node circle,#mermaid-svg-Kp3t7ZE1hDQJB7ld .node ellipse,#mermaid-svg-Kp3t7ZE1hDQJB7ld .node polygon,#mermaid-svg-Kp3t7ZE1hDQJB7ld .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .rough-node .label text,#mermaid-svg-Kp3t7ZE1hDQJB7ld .node .label text,#mermaid-svg-Kp3t7ZE1hDQJB7ld .image-shape .label,#mermaid-svg-Kp3t7ZE1hDQJB7ld .icon-shape .label{text-anchor:middle;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .rough-node .label,#mermaid-svg-Kp3t7ZE1hDQJB7ld .node .label,#mermaid-svg-Kp3t7ZE1hDQJB7ld .image-shape .label,#mermaid-svg-Kp3t7ZE1hDQJB7ld .icon-shape .label{text-align:center;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .node.clickable{cursor:pointer;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .arrowheadPath{fill:#333333;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-Kp3t7ZE1hDQJB7ld .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-Kp3t7ZE1hDQJB7ld .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-Kp3t7ZE1hDQJB7ld .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .cluster text{fill:#333;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .cluster span{color:#333;}#mermaid-svg-Kp3t7ZE1hDQJB7ld div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-Kp3t7ZE1hDQJB7ld rect.text{fill:none;stroke-width:0;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .icon-shape,#mermaid-svg-Kp3t7ZE1hDQJB7ld .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .icon-shape p,#mermaid-svg-Kp3t7ZE1hDQJB7ld .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .icon-shape .label rect,#mermaid-svg-Kp3t7ZE1hDQJB7ld .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-Kp3t7ZE1hDQJB7ld .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-Kp3t7ZE1hDQJB7ld .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-Kp3t7ZE1hDQJB7ld :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 图像 + 语言指令
两种主流范式
范式一：动作 Token 化
用训练好的 VLM 理解场景
动作离散化为动作 Token
解码为真实机器人动作
范式二：生成式模型
扩散模型 Diffusion Policy
流匹配 Flow Matching / π0
直接生成连续动作

把「识别、规划、控制」拆成多个独立的模块。

1.3 为什么 VLA 值得学

对读者来说，了解「为什么」比记住定义更重要。VLA 之所以成为热点，有四个原因：

大模型能力的外溢：LLM/VLM 的常识推理、指令跟随、少样本泛化能力，第一次有机会被搬到物理世界；
通用性的可能：传统机器人模型往往一个任务训一个模型，而 VLA 有望用一个模型处理多个任务、多个场景、甚至多种机器人本体；
开源生态快速成熟：出现了 OpenVLA、Octo、π0 等开源工作，普通人也能基于开源权重做实验；
产业落地加速：Figure、Tesla Optimus、1X、宇树、智元、银河通用等公司都在把 VLA 类模型推向真实产品。

如果你对「AI 如何从屏幕里走到物理世界」感兴趣，VLA 是目前最值得关注的技术主线之一。

2. VLA 的学习路线

VLA 是典型的交叉方向，横跨计算机视觉、自然语言处理、机器人学、强化学习/模仿学习。刚入门的人最容易犯的错误是「一上来就啃 RT-2 论文」，结果被里面陌生的名词劝退。

下面给出的路线是循序渐进的：先补地基，再学 VLM，再学机器人策略，最后回到 VLA 本身。

整体学习路线如下：
#mermaid-svg-1q2UAIbkP1wKVs53{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-1q2UAIbkP1wKVs53 .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-1q2UAIbkP1wKVs53 .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-1q2UAIbkP1wKVs53 .error-icon{fill:#552222;}#mermaid-svg-1q2UAIbkP1wKVs53 .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-1q2UAIbkP1wKVs53 .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-1q2UAIbkP1wKVs53 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-1q2UAIbkP1wKVs53 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-1q2UAIbkP1wKVs53 .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-1q2UAIbkP1wKVs53 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-1q2UAIbkP1wKVs53 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-1q2UAIbkP1wKVs53 .marker{fill:#333333;stroke:#333333;}#mermaid-svg-1q2UAIbkP1wKVs53 .marker.cross{stroke:#333333;}#mermaid-svg-1q2UAIbkP1wKVs53 svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-1q2UAIbkP1wKVs53 p{margin:0;}#mermaid-svg-1q2UAIbkP1wKVs53 .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-1q2UAIbkP1wKVs53 .cluster-label text{fill:#333;}#mermaid-svg-1q2UAIbkP1wKVs53 .cluster-label span{color:#333;}#mermaid-svg-1q2UAIbkP1wKVs53 .cluster-label span p{background-color:transparent;}#mermaid-svg-1q2UAIbkP1wKVs53 .label text,#mermaid-svg-1q2UAIbkP1wKVs53 span{fill:#333;color:#333;}#mermaid-svg-1q2UAIbkP1wKVs53 .node rect,#mermaid-svg-1q2UAIbkP1wKVs53 .node circle,#mermaid-svg-1q2UAIbkP1wKVs53 .node ellipse,#mermaid-svg-1q2UAIbkP1wKVs53 .node polygon,#mermaid-svg-1q2UAIbkP1wKVs53 .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-1q2UAIbkP1wKVs53 .rough-node .label text,#mermaid-svg-1q2UAIbkP1wKVs53 .node .label text,#mermaid-svg-1q2UAIbkP1wKVs53 .image-shape .label,#mermaid-svg-1q2UAIbkP1wKVs53 .icon-shape .label{text-anchor:middle;}#mermaid-svg-1q2UAIbkP1wKVs53 .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-1q2UAIbkP1wKVs53 .rough-node .label,#mermaid-svg-1q2UAIbkP1wKVs53 .node .label,#mermaid-svg-1q2UAIbkP1wKVs53 .image-shape .label,#mermaid-svg-1q2UAIbkP1wKVs53 .icon-shape .label{text-align:center;}#mermaid-svg-1q2UAIbkP1wKVs53 .node.clickable{cursor:pointer;}#mermaid-svg-1q2UAIbkP1wKVs53 .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-1q2UAIbkP1wKVs53 .arrowheadPath{fill:#333333;}#mermaid-svg-1q2UAIbkP1wKVs53 .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-1q2UAIbkP1wKVs53 .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-1q2UAIbkP1wKVs53 .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-1q2UAIbkP1wKVs53 .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-1q2UAIbkP1wKVs53 .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-1q2UAIbkP1wKVs53 .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-1q2UAIbkP1wKVs53 .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-1q2UAIbkP1wKVs53 .cluster text{fill:#333;}#mermaid-svg-1q2UAIbkP1wKVs53 .cluster span{color:#333;}#mermaid-svg-1q2UAIbkP1wKVs53 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-1q2UAIbkP1wKVs53 .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-1q2UAIbkP1wKVs53 rect.text{fill:none;stroke-width:0;}#mermaid-svg-1q2UAIbkP1wKVs53 .icon-shape,#mermaid-svg-1q2UAIbkP1wKVs53 .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-1q2UAIbkP1wKVs53 .icon-shape p,#mermaid-svg-1q2UAIbkP1wKVs53 .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-1q2UAIbkP1wKVs53 .icon-shape .label rect,#mermaid-svg-1q2UAIbkP1wKVs53 .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-1q2UAIbkP1wKVs53 .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-1q2UAIbkP1wKVs53 .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-1q2UAIbkP1wKVs53 :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 1. 前置基础：编程与数学
2. 视觉与语言基础
3. 多模态模型 VLM
4. 机器人策略与模仿学习
5. VLA 核心论文精读
6. 动手实践：数据、仿真与训练
7. 评估与安全

每一层都建立在前一层之上。

2.1 前置基础：编程与数学

这部分不用多说，但必须有。建议掌握到「能看懂论文、能跑通开源仓库」的程度：

Python：深度学习生态的事实标准语言，熟练使用即可；
PyTorch ：绝大多数 VLA 开源代码基于它，重点掌握 Dataset、DataLoader、模型定义、训练循环、分布式训练基础；
线性代数与概率：矩阵运算、向量空间、正态分布、条件概率、KL 散度等，后续理解动作分布、扩散过程都会用到；
Transformer 与注意力机制：这是理解 VLM 和 VLA 骨架的前提，要真正搞懂 QKV、位置编码、自回归生成。

2.2 视觉与语言基础

VLA 的输入是"图像 + 文本"，所以这两个方向的入门同样不可或缺：

视觉侧

卷积神经网络（CNN）基础：从 ResNet 入手即可，理解图像特征提取；
Vision Transformer (ViT)：现在的主流视觉编码器基本都是 ViT 架构，理解它是如何把图像切成 patch 再编码的；
常用视觉编码器：CLIP 的 ViT、SigLIP、DINOv2 ------ 这些名字在 VLA 论文里会反复出现。

语言侧

大语言模型 (LLM) 的基础：tokenization、自回归生成、指令微调 (Instruction Tuning)；
熟悉一两个开源 LLM 的架构：Llama 系列、Qwen 系列，因为 OpenVLA 等模型就是拿它们当主干。

2.3 多模态模型（VLM）

这是从「单模态」通往 VLA 的桥。VLA 的很多能力（指令理解、常识推理、少样本泛化）都是从 VLM 继承来的。建议精读并理解这几个代表性工作：

CLIP：视觉和文本对齐的经典，理解「对比学习」如何打通图文语义；
LLaVA / BLIP-2 / Qwen-VL：理解如何把视觉特征「注入」LLM，让 LLM 会看图说话；
更进阶可以看 Flamingo / InternVL，体会不同的视觉-语言融合方式。

学完这一步，你就能回答一个关键问题：一个只会输出的文字的模型，怎样才能被改造成输出动作的模型？

2.4 机器人策略与模仿学习

VLA 的「A」（Action）是它的灵魂，但「怎么从数据里学出动作」需要机器人学习的基础。重点掌握：

行为克隆（Behavior Cloning，BC）：最基础的模仿学习范式，把「观测 → 动作」当作监督学习来做；
ACT（Action Chunking with Transformers）：把动作切成块、用 Transformer 预测，是 ALOHA 机械臂系统的核心算法，值得精读；
扩散策略（Diffusion Policy）：把扩散模型用于动作生成，理解「去噪生成」如何解决多模态动作分布问题；
流匹配（Flow Matching）：扩散的另一种高效实现路径，π0 的核心动作生成机制。

这一层学完，你就能理解 VLA 论文里那些「动作头」「动作解码器」「executor」到底在做什么。

2.5 回到 VLA 本身：核心论文精读

有了上面的基础，再读 VLA 核心论文，体验会完全不一样。推荐按这个顺序精读：

RT-1（Robotics Transformer 1）：早期的 Transformer 机器人策略，理解机器人控制如何被建模；
RT-2（Robotics Transformer 2）：VLA 的奠基性工作，重点看它如何把动作 token 化、与 VLM 对齐；
Open-X-Embodiment / RT-X：最大的跨本体、跨机构机器人数据集与模型，理解「数据规模化」带来的泛化提升；
OpenVLA：目前最主流的开源 VLA 之一，7B 参数，基于 Llama 2 + SigLIP/DINOv2，代码结构清晰，适合动手跑；
Octo：另一条开源路线，强调灵活的动作表示和可组合性；
π0（Physical Intelligence）：流匹配 + 动作专家模型，理解「高频精细控制」与「大模型主干」如何混合。

读论文时建议带着三个问题：它的输入输出是什么？它的动作是如何表示的？它的训练数据来自哪里？ 这三个问题能帮你快速抓住每篇论文的本质。
#mermaid-svg-E1i6D6ZmdiIOUlrj{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-E1i6D6ZmdiIOUlrj .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-E1i6D6ZmdiIOUlrj .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-E1i6D6ZmdiIOUlrj .error-icon{fill:#552222;}#mermaid-svg-E1i6D6ZmdiIOUlrj .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-E1i6D6ZmdiIOUlrj .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-E1i6D6ZmdiIOUlrj .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-E1i6D6ZmdiIOUlrj .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-E1i6D6ZmdiIOUlrj .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-E1i6D6ZmdiIOUlrj .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-E1i6D6ZmdiIOUlrj .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-E1i6D6ZmdiIOUlrj .marker{fill:#333333;stroke:#333333;}#mermaid-svg-E1i6D6ZmdiIOUlrj .marker.cross{stroke:#333333;}#mermaid-svg-E1i6D6ZmdiIOUlrj svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-E1i6D6ZmdiIOUlrj p{margin:0;}#mermaid-svg-E1i6D6ZmdiIOUlrj .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-E1i6D6ZmdiIOUlrj .cluster-label text{fill:#333;}#mermaid-svg-E1i6D6ZmdiIOUlrj .cluster-label span{color:#333;}#mermaid-svg-E1i6D6ZmdiIOUlrj .cluster-label span p{background-color:transparent;}#mermaid-svg-E1i6D6ZmdiIOUlrj .label text,#mermaid-svg-E1i6D6ZmdiIOUlrj span{fill:#333;color:#333;}#mermaid-svg-E1i6D6ZmdiIOUlrj .node rect,#mermaid-svg-E1i6D6ZmdiIOUlrj .node circle,#mermaid-svg-E1i6D6ZmdiIOUlrj .node ellipse,#mermaid-svg-E1i6D6ZmdiIOUlrj .node polygon,#mermaid-svg-E1i6D6ZmdiIOUlrj .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-E1i6D6ZmdiIOUlrj .rough-node .label text,#mermaid-svg-E1i6D6ZmdiIOUlrj .node .label text,#mermaid-svg-E1i6D6ZmdiIOUlrj .image-shape .label,#mermaid-svg-E1i6D6ZmdiIOUlrj .icon-shape .label{text-anchor:middle;}#mermaid-svg-E1i6D6ZmdiIOUlrj .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-E1i6D6ZmdiIOUlrj .rough-node .label,#mermaid-svg-E1i6D6ZmdiIOUlrj .node .label,#mermaid-svg-E1i6D6ZmdiIOUlrj .image-shape .label,#mermaid-svg-E1i6D6ZmdiIOUlrj .icon-shape .label{text-align:center;}#mermaid-svg-E1i6D6ZmdiIOUlrj .node.clickable{cursor:pointer;}#mermaid-svg-E1i6D6ZmdiIOUlrj .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-E1i6D6ZmdiIOUlrj .arrowheadPath{fill:#333333;}#mermaid-svg-E1i6D6ZmdiIOUlrj .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-E1i6D6ZmdiIOUlrj .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-E1i6D6ZmdiIOUlrj .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-E1i6D6ZmdiIOUlrj .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-E1i6D6ZmdiIOUlrj .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-E1i6D6ZmdiIOUlrj .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-E1i6D6ZmdiIOUlrj .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-E1i6D6ZmdiIOUlrj .cluster text{fill:#333;}#mermaid-svg-E1i6D6ZmdiIOUlrj .cluster span{color:#333;}#mermaid-svg-E1i6D6ZmdiIOUlrj div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-E1i6D6ZmdiIOUlrj .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-E1i6D6ZmdiIOUlrj rect.text{fill:none;stroke-width:0;}#mermaid-svg-E1i6D6ZmdiIOUlrj .icon-shape,#mermaid-svg-E1i6D6ZmdiIOUlrj .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-E1i6D6ZmdiIOUlrj .icon-shape p,#mermaid-svg-E1i6D6ZmdiIOUlrj .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-E1i6D6ZmdiIOUlrj .icon-shape .label rect,#mermaid-svg-E1i6D6ZmdiIOUlrj .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-E1i6D6ZmdiIOUlrj .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-E1i6D6ZmdiIOUlrj .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-E1i6D6ZmdiIOUlrj :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} RT-1：早期 Transformer 策略
RT-2：动作 Token 化，VLA 奠基
Open X-Embodiment / RT-X：跨本体数据规模化
OpenVLA：7B 开源主流底座
Octo：灵活动作表示
π0：流匹配 + 动作专家

2.6 动手实践：数据、仿真与训练

只看不练容易虚。动手环节建议这样安排：

数据：从 Open X-Embodiment 数据集入手，了解真实机器人数据的格式（观测、动作、语言标注）；
硬件入门：有条件的可以接触 ALOHA、Franka、xArm 等机械臂平台；条件有限可以先用仿真；
仿真环境：MuJoCo、Isaac Sim、ManiSkill、SAPIEN 都是常用选择，先在仿真里跑通「观察 → 策略 → 动作 → 环境反馈」的闭环；
跑通开源模型：先跑 OpenVLA 或 Octo 的推理 demo，再尝试在自己采集的小数据集上做微调。

动手环节最终要跑通的是一个闭环：
#mermaid-svg-orck3DAz09v7HsOl{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-orck3DAz09v7HsOl .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-orck3DAz09v7HsOl .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-orck3DAz09v7HsOl .error-icon{fill:#552222;}#mermaid-svg-orck3DAz09v7HsOl .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-orck3DAz09v7HsOl .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-orck3DAz09v7HsOl .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-orck3DAz09v7HsOl .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-orck3DAz09v7HsOl .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-orck3DAz09v7HsOl .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-orck3DAz09v7HsOl .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-orck3DAz09v7HsOl .marker{fill:#333333;stroke:#333333;}#mermaid-svg-orck3DAz09v7HsOl .marker.cross{stroke:#333333;}#mermaid-svg-orck3DAz09v7HsOl svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-orck3DAz09v7HsOl p{margin:0;}#mermaid-svg-orck3DAz09v7HsOl .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-orck3DAz09v7HsOl .cluster-label text{fill:#333;}#mermaid-svg-orck3DAz09v7HsOl .cluster-label span{color:#333;}#mermaid-svg-orck3DAz09v7HsOl .cluster-label span p{background-color:transparent;}#mermaid-svg-orck3DAz09v7HsOl .label text,#mermaid-svg-orck3DAz09v7HsOl span{fill:#333;color:#333;}#mermaid-svg-orck3DAz09v7HsOl .node rect,#mermaid-svg-orck3DAz09v7HsOl .node circle,#mermaid-svg-orck3DAz09v7HsOl .node ellipse,#mermaid-svg-orck3DAz09v7HsOl .node polygon,#mermaid-svg-orck3DAz09v7HsOl .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-orck3DAz09v7HsOl .rough-node .label text,#mermaid-svg-orck3DAz09v7HsOl .node .label text,#mermaid-svg-orck3DAz09v7HsOl .image-shape .label,#mermaid-svg-orck3DAz09v7HsOl .icon-shape .label{text-anchor:middle;}#mermaid-svg-orck3DAz09v7HsOl .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-orck3DAz09v7HsOl .rough-node .label,#mermaid-svg-orck3DAz09v7HsOl .node .label,#mermaid-svg-orck3DAz09v7HsOl .image-shape .label,#mermaid-svg-orck3DAz09v7HsOl .icon-shape .label{text-align:center;}#mermaid-svg-orck3DAz09v7HsOl .node.clickable{cursor:pointer;}#mermaid-svg-orck3DAz09v7HsOl .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-orck3DAz09v7HsOl .arrowheadPath{fill:#333333;}#mermaid-svg-orck3DAz09v7HsOl .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-orck3DAz09v7HsOl .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-orck3DAz09v7HsOl .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-orck3DAz09v7HsOl .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-orck3DAz09v7HsOl .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-orck3DAz09v7HsOl .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-orck3DAz09v7HsOl .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-orck3DAz09v7HsOl .cluster text{fill:#333;}#mermaid-svg-orck3DAz09v7HsOl .cluster span{color:#333;}#mermaid-svg-orck3DAz09v7HsOl div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-orck3DAz09v7HsOl .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-orck3DAz09v7HsOl rect.text{fill:none;stroke-width:0;}#mermaid-svg-orck3DAz09v7HsOl .icon-shape,#mermaid-svg-orck3DAz09v7HsOl .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-orck3DAz09v7HsOl .icon-shape p,#mermaid-svg-orck3DAz09v7HsOl .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-orck3DAz09v7HsOl .icon-shape .label rect,#mermaid-svg-orck3DAz09v7HsOl .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-orck3DAz09v7HsOl .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-orck3DAz09v7HsOl .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-orck3DAz09v7HsOl :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 环境反馈
观测：图像 / 状态
策略模型 VLA
动作：末端位姿 / 关节角度 / 夹爪开合
机器人 / 仿真环境

这是理解整个 pipeline 最快的方式。

2.7 评估与安全

VLA 最后要落地到物理世界，评估和安全绕不开：

评估指标：任务成功率、动作准确率、泛化到新场景/新物体/新指令的能力；
benchmark：关注 RoboBrain、Behavior、LIBERO、SimplerEnv 等评测环境；
安全：真实机器人涉及人机协作、碰撞、约束满足（constraint satisfaction），了解基础的 safety policy 和硬件急停机制。

完成以上七个模块，你对 VLA 的认知就能从「听说过」变成「能看懂、能复现、能改进」。

3. VLA 当前的进展

VLA 领域发展极快，几乎每几个月就有重要工作出现。
#mermaid-svg-RoSrHsPAQlWIDRO7{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-RoSrHsPAQlWIDRO7 .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-RoSrHsPAQlWIDRO7 .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-RoSrHsPAQlWIDRO7 .error-icon{fill:#552222;}#mermaid-svg-RoSrHsPAQlWIDRO7 .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-RoSrHsPAQlWIDRO7 .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-RoSrHsPAQlWIDRO7 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-RoSrHsPAQlWIDRO7 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-RoSrHsPAQlWIDRO7 .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-RoSrHsPAQlWIDRO7 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-RoSrHsPAQlWIDRO7 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-RoSrHsPAQlWIDRO7 .marker{fill:#333333;stroke:#333333;}#mermaid-svg-RoSrHsPAQlWIDRO7 .marker.cross{stroke:#333333;}#mermaid-svg-RoSrHsPAQlWIDRO7 svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-RoSrHsPAQlWIDRO7 p{margin:0;}#mermaid-svg-RoSrHsPAQlWIDRO7 .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-RoSrHsPAQlWIDRO7 .cluster-label text{fill:#333;}#mermaid-svg-RoSrHsPAQlWIDRO7 .cluster-label span{color:#333;}#mermaid-svg-RoSrHsPAQlWIDRO7 .cluster-label span p{background-color:transparent;}#mermaid-svg-RoSrHsPAQlWIDRO7 .label text,#mermaid-svg-RoSrHsPAQlWIDRO7 span{fill:#333;color:#333;}#mermaid-svg-RoSrHsPAQlWIDRO7 .node rect,#mermaid-svg-RoSrHsPAQlWIDRO7 .node circle,#mermaid-svg-RoSrHsPAQlWIDRO7 .node ellipse,#mermaid-svg-RoSrHsPAQlWIDRO7 .node polygon,#mermaid-svg-RoSrHsPAQlWIDRO7 .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-RoSrHsPAQlWIDRO7 .rough-node .label text,#mermaid-svg-RoSrHsPAQlWIDRO7 .node .label text,#mermaid-svg-RoSrHsPAQlWIDRO7 .image-shape .label,#mermaid-svg-RoSrHsPAQlWIDRO7 .icon-shape .label{text-anchor:middle;}#mermaid-svg-RoSrHsPAQlWIDRO7 .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-RoSrHsPAQlWIDRO7 .rough-node .label,#mermaid-svg-RoSrHsPAQlWIDRO7 .node .label,#mermaid-svg-RoSrHsPAQlWIDRO7 .image-shape .label,#mermaid-svg-RoSrHsPAQlWIDRO7 .icon-shape .label{text-align:center;}#mermaid-svg-RoSrHsPAQlWIDRO7 .node.clickable{cursor:pointer;}#mermaid-svg-RoSrHsPAQlWIDRO7 .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-RoSrHsPAQlWIDRO7 .arrowheadPath{fill:#333333;}#mermaid-svg-RoSrHsPAQlWIDRO7 .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-RoSrHsPAQlWIDRO7 .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-RoSrHsPAQlWIDRO7 .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-RoSrHsPAQlWIDRO7 .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-RoSrHsPAQlWIDRO7 .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-RoSrHsPAQlWIDRO7 .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-RoSrHsPAQlWIDRO7 .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-RoSrHsPAQlWIDRO7 .cluster text{fill:#333;}#mermaid-svg-RoSrHsPAQlWIDRO7 .cluster span{color:#333;}#mermaid-svg-RoSrHsPAQlWIDRO7 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-RoSrHsPAQlWIDRO7 .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-RoSrHsPAQlWIDRO7 rect.text{fill:none;stroke-width:0;}#mermaid-svg-RoSrHsPAQlWIDRO7 .icon-shape,#mermaid-svg-RoSrHsPAQlWIDRO7 .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-RoSrHsPAQlWIDRO7 .icon-shape p,#mermaid-svg-RoSrHsPAQlWIDRO7 .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-RoSrHsPAQlWIDRO7 .icon-shape .label rect,#mermaid-svg-RoSrHsPAQlWIDRO7 .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-RoSrHsPAQlWIDRO7 .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-RoSrHsPAQlWIDRO7 .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-RoSrHsPAQlWIDRO7 :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} VLA 当前进展
进展一：从单任务到多任务、跨本体泛化
进展二：数据规模化与开源生态
进展三：从能执行到会推理
进展四：从实验室走向真实产品
进展五：模型规模趋于理性，推理效率受关注

站在当前时间点（2026 年），可以把进展归纳为几条主线：

进展一：从单任务到多任务、跨本体泛化

早期的机器人策略模型通常一个任务训一个模型，而现在的 VLA 已经可以在一个模型内处理多种任务、多种物体、多种场景。更重要的是，像 RT-X 这样的工作证明了跨机构、跨机器人本体共享数据能显著提升模型的通用性------一个在 ALOHA 上训练的模型，经过跨本体数据混合后，也能在 Franka 上执行任务。这种「底座模型 + 少量微调」的范式正在成为主流。

进展二：数据规模化与开源生态

数据是 VLA 的燃料。Open X-Embodiment 汇集了多个机构的机器人数据，让研究者不再受限于「自家机器人采的那几百条数据」。同时，OpenVLA、Octo、π0 等开源模型让这一领域的研究门槛大幅降低，学术圈和工业界都能基于开源权重做二次开发。

进展三：从「能执行」到「会推理」

早期的 VLA 更多是「模仿执行」，而新一代模型开始强调推理能力。比如 DeepMind 的 Gemini Robotics 系列，在动作生成之外加入了视觉-语言-动作的推理（Embodied Reasoning）能力，让模型能在执行前先对场景进行空间理解和任务推理，从而处理更复杂、更长程的任务。语言模型带来的常识推理能力，正在被真正注入到物理操作中。

进展四：从实验室走向真实产品

VLA 正在从论文走向商业化。Figure AI 发布的端到端 VLA 模型 Helix、1X 推出的家用机器人模型、特斯拉 Optimus 持续迭代的具身智能方案，以及国内宇树、智元、银河通用等的快速推进，都表明 VLA 类模型正在成为人形机器人和通用机械臂的「大脑」标配。

进展五：模型规模趋于理性，推理效率受关注

VLA 没有盲目追求上千亿参数。OpenVLA 是 7B，π0 的 VLM 主干也控制在中等规模，而动作生成采用轻量级的高频模型。当前的重点是在有限算力下实现高帧率的实时控制------因为机器人的控制频率往往需要几十 Hz 甚至更高，单纯堆大模型并不实用。这也是 VLA 与纯文本大模型的一个重要工程差异。

总体来看，VLA 已经走过了「概念验证」阶段，正处于「能力提升 + 工程落地」并行的阶段：一方面持续推进通用化、推理化和安全化，另一方面开始进入机器人产品、自动驾驶辅助、家务机器人等真实场景。

4. 当前有哪些 VLA 模型

这里把最具代表性、且读者最可能接触到的 VLA 模型做一次梳理。不追求穷尽，但希望能帮你建立一个「模型地图」。

模型	机构	特点	是否开源
RT-1	Google DeepMind	早期 Transformer 机器人策略，动作 token 化的雏形	部分开源
RT-2	Google DeepMind	VLA 奠基之作，把动作作为特殊 token 融入 VLM	部分开源
RT-X	Google DeepMind + 多机构	跨本体大数据集与模型，证明数据规模带来泛化	开源
OpenVLA	Stanford 等	7B 开源 VLA，Llama 2 + SigLIP/DINOv2，生态成熟	开源
Octo	UC Berkeley 等	灵活动作表示的通用策略，支持多任务、多本体	开源
π0（pi-zero）	Physical Intelligence	流匹配 + 动作专家模型，高频精细控制	开源
Gemini Robotics / ER	Google DeepMind	强调具身推理（Embodied Reasoning）能力	未开源
GR00T（Isaac GR00T）	NVIDIA	面向人形机器人的基础模型，配套仿真生态	部分开源
Helix	Figure AI	端到端 VLA，面向人形机器人家用场景	模型未完全开源
GO-1 等	智元 / 国内团队	国内机器人与大模型结合的 VLA 探索	部分开源

下面对其中几个关键模型稍作展开：

下面这张模型地图，把上表中的代表性模型按"研究脉络 / 开源底座 / 产业平台"做了归类：
#mermaid-svg-LqiecnBEgQcbYx0f{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-LqiecnBEgQcbYx0f .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-LqiecnBEgQcbYx0f .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-LqiecnBEgQcbYx0f .error-icon{fill:#552222;}#mermaid-svg-LqiecnBEgQcbYx0f .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-LqiecnBEgQcbYx0f .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-LqiecnBEgQcbYx0f .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-LqiecnBEgQcbYx0f .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-LqiecnBEgQcbYx0f .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-LqiecnBEgQcbYx0f .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-LqiecnBEgQcbYx0f .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-LqiecnBEgQcbYx0f .marker{fill:#333333;stroke:#333333;}#mermaid-svg-LqiecnBEgQcbYx0f .marker.cross{stroke:#333333;}#mermaid-svg-LqiecnBEgQcbYx0f svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-LqiecnBEgQcbYx0f p{margin:0;}#mermaid-svg-LqiecnBEgQcbYx0f .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-LqiecnBEgQcbYx0f .cluster-label text{fill:#333;}#mermaid-svg-LqiecnBEgQcbYx0f .cluster-label span{color:#333;}#mermaid-svg-LqiecnBEgQcbYx0f .cluster-label span p{background-color:transparent;}#mermaid-svg-LqiecnBEgQcbYx0f .label text,#mermaid-svg-LqiecnBEgQcbYx0f span{fill:#333;color:#333;}#mermaid-svg-LqiecnBEgQcbYx0f .node rect,#mermaid-svg-LqiecnBEgQcbYx0f .node circle,#mermaid-svg-LqiecnBEgQcbYx0f .node ellipse,#mermaid-svg-LqiecnBEgQcbYx0f .node polygon,#mermaid-svg-LqiecnBEgQcbYx0f .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-LqiecnBEgQcbYx0f .rough-node .label text,#mermaid-svg-LqiecnBEgQcbYx0f .node .label text,#mermaid-svg-LqiecnBEgQcbYx0f .image-shape .label,#mermaid-svg-LqiecnBEgQcbYx0f .icon-shape .label{text-anchor:middle;}#mermaid-svg-LqiecnBEgQcbYx0f .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-LqiecnBEgQcbYx0f .rough-node .label,#mermaid-svg-LqiecnBEgQcbYx0f .node .label,#mermaid-svg-LqiecnBEgQcbYx0f .image-shape .label,#mermaid-svg-LqiecnBEgQcbYx0f .icon-shape .label{text-align:center;}#mermaid-svg-LqiecnBEgQcbYx0f .node.clickable{cursor:pointer;}#mermaid-svg-LqiecnBEgQcbYx0f .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-LqiecnBEgQcbYx0f .arrowheadPath{fill:#333333;}#mermaid-svg-LqiecnBEgQcbYx0f .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-LqiecnBEgQcbYx0f .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-LqiecnBEgQcbYx0f .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-LqiecnBEgQcbYx0f .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-LqiecnBEgQcbYx0f .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-LqiecnBEgQcbYx0f .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-LqiecnBEgQcbYx0f .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-LqiecnBEgQcbYx0f .cluster text{fill:#333;}#mermaid-svg-LqiecnBEgQcbYx0f .cluster span{color:#333;}#mermaid-svg-LqiecnBEgQcbYx0f div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-LqiecnBEgQcbYx0f .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-LqiecnBEgQcbYx0f rect.text{fill:none;stroke-width:0;}#mermaid-svg-LqiecnBEgQcbYx0f .icon-shape,#mermaid-svg-LqiecnBEgQcbYx0f .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-LqiecnBEgQcbYx0f .icon-shape p,#mermaid-svg-LqiecnBEgQcbYx0f .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-LqiecnBEgQcbYx0f .icon-shape .label rect,#mermaid-svg-LqiecnBEgQcbYx0f .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-LqiecnBEgQcbYx0f .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-LqiecnBEgQcbYx0f .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-LqiecnBEgQcbYx0f :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} VLA 模型地图
Google DeepMind
RT-1
RT-2
RT-X
Gemini Robotics / ER
开源通用底座
OpenVLA
Octo
π0（pi-zero）
产业与平台
NVIDIA GR00T
Figure Helix
智元 GO-1 等

RT-2（Robotics Transformer 2）

如果要选一篇「VLA 入门必读」，RT-2 是最合适的起点。它的核心贡献是确立了「动作即 token」的范式：把 VLM 的文本输出空间和外加的动作输出空间统一成同一个 token 序列，从而直接复用 VLM 的推理能力。它证明了「互联网规模的视觉-语言数据」可以显著提升机器人的新兴能力（emergent capabilities），如理解未见过的物体、执行未见过的指令。

OpenVLA

如果说 RT-2 打开了思路，OpenVLA 则把这条路「开放」给了所有人。它基于 Llama 2 7B，视觉编码器使用 SigLIP 和 DINOv2 的融合特征，在 Open X-Embodiment 数据上训练。OpenVLA 有完整的开源代码、预训练权重和微调教程，是目前学术界和工业界二次开发最常用的 VLA 底座之一。

π0（pi-zero）

Physical Intelligence 的 π0 解决了一个关键矛盾：大模型推理能力强但速度慢，小模型速度快但在复杂场景不够聪明。它的做法是「VLM 主干 + 流匹配动作专家」的组合：VLM 负责低频的语义理解和任务规划，动作专家负责高频的精细动作生成。这种「大小模型混合」的架构思路，对后续工作影响很大。

Gemini Robotics / Gemini Robotics-ER

DeepMind 在 Gemini 基础上推出的机器人方向模型。其中 ER（Embodied Reasoning）版本特别强调「具身推理」------不仅仅是执行动作，而是先理解三维空间关系、物体属性、任务目标，再做出决策。它代表了 VLA 从「执行器」向「会思考的操作者」演进的方向。

Octo

Octo 是开源社区里另一个重要代表，来自 UC Berkeley 等机构。它的特点是动作表示灵活：既支持离散动作，也支持连续动作，并且强调「可组合性」------同一个模型可以方便地接入不同的观测输入和动作输出。对于想自己改造 VLA 的研究者来说，Octo 的代码结构值得学习。

除了上述模型，还有 Figure 的 Helix、NVIDIA 的 GR00T、以及国内智元、宇树、银河通用等发布的具身智能模型，它们或强调端到端人形机器人控制，或强调与自家硬件平台深度耦合。建议读者以 OpenVLA 和 π0 作为动手起点，以 RT-2 和 Gemini Robotics 系列作为理论脉络，再持续关注产业界的发布动态。

5. 总结与下一步

第一天的目标不是把 VLA 学完，而是建立一张清晰的地图。回顾一下本文的三个核心收获：

VLA 是什么：视觉-语言-动作模型，让机器人「看懂---听懂---会做」，核心是把 VLM 的语义能力扩展到动作空间；
VLA 怎么学：按照「编程数学基础 → 视觉/语言基础 → VLM → 机器人策略 → VLA 核心论文 → 动手实践 → 评估安全」的顺序循序渐进；
VLA 现在到哪一步了：正从单任务走向通用化、从实验室走向产品，开源生态快速成熟，代表模型包括 RT-2、OpenVLA、Octo、π0、Gemini Robotics 等。

VLA 是一个「物理世界 + 大模型」的交叉领域，知识面广但逻辑清晰。