这篇文章讲三篇论文。
RT-2，Vision-Language-Action Models Transfer Web Knowledge to Robotic Control，Anthony Brohan 等，Google DeepMind，arXiv:2307.15818，2023 年 7 月。
OpenVLA，An Open-Source Vision-Language-Action Model，Moo Jin Kim、Karl Pertsch 等，arXiv:2406.09246，2024 年 6 月。
π0，A Vision-Language-Action Flow Model for General Robot Control，Kevin Black、Noah Brown 等，Physical Intelligence，arXiv:2410.24164，2024 年 10 月。
三篇论文解决的是同一个问题，怎么让机器人从互联网规模的视觉语言知识里继承泛化能力。它们给的答案不一样，差别集中在两个地方，动作怎么表示，模型放在哪。
文中所有数字都来自论文摘要或正文，链接放在文末。我自己跑的一个动作量化实验放在后半段，用来对照论文里的动作表示讨论。
三篇论文的编号、日期和作者数，我用 arXiv 官方接口现场核对过一遍，没有手抄。
图 1，arXiv 官方接口返回的三篇论文元数据
接口返回的结果和我文首写的一致。RT-2 提交于 2023 年 7 月 28 日，54 位作者。OpenVLA 提交于 2024 年 6 月 13 日，18 位作者，我引的是 2024 年 9 月更新过的 v3。π0 提交于 2024 年 10 月 31 日，24 位作者，最新版本 v4 更新到 2026 年 1 月。
核对这一步很有必要。网上转述论文的文章，作者名写错、日期写错、把 v1 的数字当成最终版，这些错误很常见。写解读之前先拉一遍元数据，是最便宜的一道校验。
一、RT-2，把动作写成文本 token
RT-2 的核心做法，论文摘要写得很直接。
We express the actions as text tokens and incorporate them directly into the training set of the model in the same way as natural language tokens.
翻译过来，把动作表示成文本 token，像自然语言 token 一样直接塞进训练集。
这个做法解决了一个工程难题。视觉语言模型本来只会输出文字，机器人需要输出动作。RT-2 没有加一个新的动作头，它把动作离散成文本 token，让模型用同一个输出空间同时生成文字和动作。这样一来，互联网上的视觉问答数据可以和机器人轨迹数据一起训练，论文把这叫 co-fine-tune。
论文摘要还给了评测规模。
Our extensive evaluation (6k evaluation trials)
6000 次评测。这个数字说明论文的结论不是几个 demo 撑起来的，是大量真机试验堆出来的。
代价在频率。论文第 3.3 节写了两组数字。
The largest model we evaluated, the 55B parameter RT-2-PaLI-X-55B model, can run at a frequency of 1-3 Hz. The smaller version of that model, consisting of 5B parameters, can run at a frequency of around 5 Hz.
55B 版本 1 到 3Hz，5B 版本大约 5Hz。
为什么这么慢。动作变成文本 token 之后，生成一个动作要自回归解码一串 token。模型越大，每一步矩阵乘法越重，频率越低。这是把动作塞进语言模型的直接代价。
RT-2 的泛化能力确实强。摘要里列了涌现能力，对新物体泛化，能理解机器人训练数据里没有的指令，能做 rudimentary reasoning，例如拿最小的物体、拿离某个物体最近的物体。加入 chain of thought 之后，还能做多阶段语义推理，例如累了该喝什么，答案是能量饮料。
RT-2 没有开放权重。对开发者来说，它是一个方向，不是一件工具。
二、OpenVLA，7B 参数，970k 真机轨迹
OpenVLA 的摘要第一句就把定位说清楚了。
We introduce OpenVLA, a 7B-parameter open-source VLA trained on a diverse collection of 970k real-world robot demonstrations.
7B 参数，开源，970k 真机演示。
模型结构也写在摘要里。
OpenVLA builds on a Llama 2 language model combined with a visual encoder that fuses pretrained features from DINOv2 and SigLIP.
Llama 2 语言模型，加 DINOv2 和 SigLIP 融合的视觉编码器。这个组合不复杂，重点在数据规模和开放程度。
最关键的数字是这一句。
outperforming closed models such as RT-2-X (55B) by 16.5% in absolute task success rate across 29 tasks and multiple robot embodiments, with 7x fewer parameters.
在 29 个任务、多个机器人本体上，绝对成功率比 55B 的 RT-2-X 高 16.5%，参数少 7 倍。
参数少 7 倍，成功率反超。这件事说明容量不是唯一变量。数据多样性、动作表示、训练配方，都会影响最终效果。
OpenVLA 的动作表示也是离散 token。论文没有回避这一点，它和 RT-2 的差别在数据规模和开放程度，不在动作表示的根本路线。
论文还给了两个工程结论，对开发者很重要。
we show that OpenVLA can be fine-tuned on consumer GPUs via modern low-rank adaptation methods and served efficiently via quantization without a hit to downstream success rate.
LoRA 可以在消费级显卡上微调，量化部署不掉成功率。这句话把 7B 模型从机房拉到了个人开发者手里。
还有一个对比数字。
outperform expressive from-scratch imitation learning methods such as Diffusion Policy by 20.4%.
比 Diffusion Policy 高 20.4%。这说明预训练加微调的路线，在数据效率上确实比从零训练有优势。
OpenVLA 开放了 checkpoint、微调 notebook 和 PyTorch 代码库。这是它和 RT-2 最大的区别。RT-2 给的是论文，OpenVLA 给的是可以跑的东西。
三、π0，把动作放回连续空间
π0 的摘要第一段先讲了问题。
bringing robot learning to the level of generality required for effective real-world systems faces major obstacles in terms of data, generalization, and robustness.
数据、泛化、鲁棒性，三个障碍。
它的解法是在预训练 VLM 上加一个 flow matching 动作专家。
We propose a novel flow matching architecture built on top of a pre-trained vision-language model (VLM) to inherit Internet-scale semantic knowledge.
继承互联网规模的语义知识，用 flow matching 生成连续动作。
训练数据来自多个机器人平台。
a large and diverse dataset from multiple dexterous robot platforms, including single-arm robots, dual-arm robots, and mobile manipulators.
单臂、双臂、移动操作平台，都在训练数据里。这比单一本体的数据更难采，但泛化边界更宽。
论文评估了三件事。零样本执行，跟随人类语言指令和上层 VLM 策略的指令，通过微调获得新技能。任务覆盖洗衣折叠、桌面清理、组装纸箱。
π0 和 RT-2、OpenVLA 最大的区别在动作表示。RT-2 和 OpenVLA 把每个动作维度离散成 token，一次生成一个动作。π0 用 flow matching 生成连续动作 chunk，一次生成一段轨迹。
这个差别直接对应两个工程指标。精度和频率。连续动作没有量化误差，chunk 化把推理间隔摊平，控制频率可以做得更高。代价是推理更重，训练更复杂，量化更麻烦。
论文没有给一个简单的频率数字，它给的是任务覆盖和零样本能力。读这篇论文，重点看它怎么把连续动作接进 VLM，而不是只看成功率的百分比。
四、三篇论文放在一张表里
| 维度 | RT-2 | OpenVLA | π0 |
|---|---|---|---|
| 论文 | arXiv:2307.15818 | arXiv:2406.09246 | arXiv:2410.24164 |
| 机构 | Google DeepMind | Stanford 等 | Physical Intelligence |
| 参数 | 55B / 5B | 7B | VLM 加动作专家 |
| 训练数据 | 机器人轨迹加互联网 VQA | 970k 真机演示 | 多平台机器人数据 |
| 动作表示 | 文本 token | 离散 token | 连续动作 chunk，flow matching |
| 频率 | 55B 1 到 3Hz，5B 约 5Hz | 论文未给单一频率，强调可微调可量化 | 论文强调高频灵巧任务 |
| 开放程度 | 闭源 | 开源权重、代码、notebook | 研究发布 |
| 关键数字 | 6000 次评测 | 比 RT-2-X 高 16.5%，参数少 7 倍 | 零样本、语言跟随、微调新技能 |
这张表看完，结论很明确。动作表示是分水岭，参数大小排在后面。
RT-2 把动作当语言，泛化好，频率低。OpenVLA 把动作当离散类别，好训练，好微调，开放。π0 把动作当连续轨迹，控制顺，推理重。
这三种选择对应三种部署位置。云端、单卡、板端。
五、我自己跑的动作量化实验
论文里的动作表示讨论，落到工程上就是精度和频率的取舍。我拿一条肩关节正弦轨迹做了个量化实验，用真实数据感受一下这个取舍。
实验设置。一条正弦曲线，模拟肩关节角度轨迹，2kHz 采样，范围负 1.5 到正 1.5 弧度。均匀量化，256 个 bin 一组，1024 个 bin 一组，和连续原始值对照。误差算三个指标，平均绝对误差，均方根误差，最大绝对误差。
| 表示 | 平均误差 | 均方根 | 最大误差 |
|---|---|---|---|
| 256 bins | 0.0029 弧度 | 0.0034 | 0.0058 弧度 |
| 1024 bins | 0.0007 弧度 | 0.0008 | 0.0015 弧度 |
| 连续值 | 0 | 0 | 0 |
256 个 bin，平均误差 0.0029 弧度，最大误差 0.0058 弧度。1024 个 bin，平均误差 0.0007 弧度，最大误差 0.0015 弧度。bin 数翻四倍，误差降四倍，线性关系，和均匀量化的理论一致。
数值不大。可离散后的速度是阶梯，到 22 个关节上，叠加起来就是抖。
图 2，256 bin 和 1024 bin 的动作误差
还有一个更隐蔽的问题。离散 token 输出的动作在时间上也是离散的。模型 5Hz 推理，两次推理之间机器人干什么。插值，还是保持。插值会引入滞后，保持会有停顿。这个缺口，论文里叫 latency，工程上叫控制频率匹配。
π0 的 chunk 化就是对这个问题的一个回答。一次生成 50 步动作，50Hz 控制，一小段轨迹覆盖一秒。模型推理慢一点，chunk 内部的动作还是连续的。
这是论文和工程之间最值得对照的地方。论文比的是成功率，工程比的是成功率加频率加延迟。两个指标体系不完全一样。
六、放到 Q1 上，7B 模型该站哪
Q1 有 22 个可动关节。关节指令走 /aima/hal/joint/command，状态走 /aima/hal/joint/state。
VLA 推理通常只有几赫兹，不可能直接管 22 个关节的平衡。平衡是高频闭环，关节状态一变，下一拍指令就要跟上，这个频率是几十上百赫兹。让 VLA 管平衡，等于让一个每秒只能想几次的大脑去管膝跳反射。
它能做的是高层策略。看一眼画面，决定去拿杯子，还是去开门，然后把目标丢给运控层。运控层继续用高频闭环，管站立，管关节，管安全。
落到接口上，VLA 的输出要变成具体的服务调用。
| VLA 输出 | 映射的接口 | 说明 |
|---|---|---|
| 去客厅 | SetMcAction 切 WALK |
高层意图变模式切换 |
| 拿桌上的杯子 | SetMcAction 切 WBC 加抓取策略 |
需要感知配合 |
| 打个招呼 | SetMcPresetMotion 3004 |
最简单的一条路 |
| 站好别动 | SetMcAction 切 STAND |
安全兜底 |
这张表的关键在最后一列。VLA 可以出错，兜底不能出错。任何时候，一条 STAND 指令必须能覆盖模型的输出。这是设计底线。
模型和接口之间，要有一层翻译。翻译层做得好不好，决定系统稳不稳。这一层没有论文会替你写，它就是你自己的工程。
七、延迟预算，互动场景的生死线
我拿挥手回应这个场景算过一笔账。人抬手，期望机器人在半秒内开始回应，超过一秒，交互感就断了。
如果走 VLA，相机一帧进来，模型 1 到 3Hz 出动作，光推理就要三百毫秒到一秒，再加感知和通信，半秒的预算根本不够。如果走预设动作，一个状态机加几个服务调用，百毫秒级就能出手。
这个账说明一件事。VLA 适合对延迟不敏感的决策，不适合对延迟敏感的互动。把两种场景分开，选型就不会错。
八、读这类论文，我先看四样东西
三篇论文加起来上百页，我的读法收敛成四样。
看动作表示。文本 token，离散 token，连续 chunk，选了哪个，后面全是它的推论。
看数据构成。互联网数据和机器人数据的比例，真机平台有几种，自采还是拼装。数据构成决定泛化的边界。
看成功率怎么报的。任务是 29 个还是 6000 次评测，基准是谁，绝对提升还是相对提升。数字要看分母。
看频率和延迟。训练 loss 再漂亮，推理 1Hz，部署就免谈。频率是论文里最不起眼，却最先杀死项目的一行。
这四样看完，一篇论文对你有没有用，基本就有答案了。剩下的数学，用到了再翻。
九、开源模型的四条现实约束
开源不等于拿来就能用。
权重可得性。OpenVLA 权重公开，下载几个 GB 起步。RT-2 没有权重，讨论再多也只能停在纸面。
硬件门槛。7B 模型，推理显存要看量化程度，fp16 全量跑不动消费级，量化之后能进，可量化本身要踩算子坑。
维护风险。开源模型的热度有周期，作者团队转向，社区补丁停滞。核心业务不要把唯一路径压在一个社区模型上，准备好替换方案。
许可证。研究用途和商用用途的条款不同，商用前把 license 读一遍。
这四条不是劝退。开源模型的真实用法是，预训练能力白拿，工程成本自己背。它比闭源黑盒透明，比从零训练便宜，中间的活，微调、量化、部署，全是你的。
十、我的判断
作为一个开发者，现阶段我会选 OpenVLA 这条线。
它有开放权重，有 LoRA，有量化。7B 的规模，单卡能碰。970k 真机轨迹的预训练，比我从零采数据强。
RT-2 的方向要看，但没必要等它的权重。π0 的连续动作值得跟，等它的推理成本降下来。
我会盯三个信号。推理频率上没上两位数，量化掉没掉点，有没有开源的连续动作模型能把频率做上去。哪个先到，哪条路线的权重就变。
如果你只想记一句话，记这句。
先看动作怎么表示，再看模型有多大。