从"看懂"到"做到"：视觉-语言-动作模型如何让机器人真正执行指令
- 从"看懂"到"做到"：视觉-语言-动作模型如何让机器人真正执行指令
-
- 一、一个被反复提及却始终没有解决的问题
- 二、从"单体端到端"到"分层双系统"：一条已经成型的演进线索
- [三、PRIME W0：把"世界会怎么变"注入动作生成](#三、PRIME W0：把“世界会怎么变”注入动作生成)
- 四、CogMemory：长时程任务中的"选择性记忆"
- 五、DT-TacVLA：当视觉不够用时，让触觉进入决策回路
- 六、HuGe：从人类第一视角视频中"借"经验
- 七、落地：VLA正在进入哪些真实场景？
- 八、一个尚未完成的范式
从"看懂"到"做到"：视觉-语言-动作模型如何让机器人真正执行指令
一、一个被反复提及却始终没有解决的问题
"把桌上的红色杯子拿起来，放进水槽。"
这句话对人类来说几乎是本能。但对机器人而言，它同时要求三件事：看懂 桌上的杯子、理解 "红色""水槽"这些语义概念、规划并执行一系列关节运动。传统机器人系统把这三件事拆成独立的模块------感知模块负责检测物体，规划模块负责生成路径，控制模块负责执行动作。每个模块各自优化，但模块之间的接口成了信息损失的瓶颈。
视觉-语言-动作模型（Vision-Language-Action Model，VLA）试图用一个统一的模型完成这三件事。它的基本思路是：以大语言模型和视觉-语言模型为骨干，把自然语言指令和视觉观察编码到同一个语义空间，然后直接解码为机器人的动作序列。
这个思路的吸引力不言而喻。如果机器人能够像语言模型"续写文本"一样"续写动作"，那么任务泛化就不再依赖于为每个场景手工编写规则或采集大量演示，而是可以通过大规模预训练获得。VLA因此被广泛视为具身智能的核心技术路线之一。
但真正把VLA从概念推向可用，需要回答一个更具体的问题：一个动作，究竟是怎么从视觉和语言中被"生成"出来的？ 不同团队给出了不同的答案，而这些答案正在汇聚成一场关于架构的深刻分化。
二、从"单体端到端"到"分层双系统"：一条已经成型的演进线索
要理解2026年下半年这批工作的位置，需要先看清VLA架构在过去两年里经历了一次怎样的转向。
早期的VLA倾向于把所有能力压进一个统一的Transformer中，视觉、语言、动作共享同一套参数。这种做法概念上优雅，但面临一个根本性的矛盾：语义理解需要深层、缓慢的推理，而动作控制需要快速、高频的反应。让同一个网络同时承担这两种时间尺度差异巨大的任务，要么牺牲控制的实时性，要么牺牲语义的深度。
分化的结果，是分层双系统 成为事实上的主流。以π₀为代表的开创性工作确立了这一范式的基本形态：一个预训练的视觉-语言模型（如PaliGemma，约3B参数）负责语义理解，一个独立的约300M参数的流匹配动作专家 挂载在其后，专门生成连续动作块。π₀一次性输出50步的动作块，推理时约10步去噪积分，在RTX 4090上端到端推理仅73ms，可支撑约50Hz的控制频率。
这个分工的关键不在于"大模型管思考、小模型管动作"这种粗略的比喻，而在于信息流的组织方式。动作专家不直接读取原始图像，而是读取VLM输出的语义特征；VLM不直接输出关节角度，而是把任务意图编码到特征序列中交给动作专家去"翻译"。流匹配在这里扮演的角色，是把离散的、分步的语义决策，转化为连续的、平滑的关节轨迹------相比自回归离散化，它避免了动作量化带来的精度损失，在接触丰富任务中这一点尤为关键。
到2026年，流匹配动作专家已经成为旗舰VLA的"事实标配"，而自回归路线则在"统一token流"的旗号下被重新审视。但架构的稳定并不意味着问题的解决。分层双系统一旦确立，新的问题就变得更加具体：快系统该从哪里获取条件？慢系统该记住什么？当视觉不够用时，快系统还能依赖什么？当数据来自另一个"身体"时，慢系统该如何适配？ 以下四个工作，分别从四个不同的维度把这些问题向前推进了一步。
三、PRIME W0：把"世界会怎么变"注入动作生成
VLA模型最根本的脆弱性在于，它们大多是前馈的：动作只以当前观测为条件，丢弃了长时程的时间上下文，也没有利用VLM表征中蕴含的层次结构。换句话说，动作专家在生成动作时，只知道"现在是什么样"，不知道"接下来可能变成什么样"，也不知道VLM在不同抽象层次上分别"理解"了什么。
PRIME W0的核心思路是：在生成动作之前，先让模型"想象"一下未来，并且把VLM从浅到深的全部理解都开放给动作专家。它通过三个协同设计来实现这一点。
第一，逐层KV注入。 不是只取VLM最后一层的输出作为动作专家的条件，而是把预训练VLM每一层的键值表示都通过交叉注意力注入到一个自适应MoE动作专家中。浅层KV可能保留更多的空间细节和局部特征，深层KV则承载任务意图和语义抽象。动作专家因此可以在生成动作时，同时访问"杯子在哪里"和"要把杯子放进水槽"这两个层次的信息，而不是被迫在两者之间做取舍。
第二，动力学感知条件化。 一个紧凑的世界模型从前一帧观测 (o_{t-1}) 出发，预测下一时刻场景应该演化成的子目标RGB图像 。关键在于"异步注入"：预测出的子目标帧被编码为视觉token，在不阻塞未来帧捕获的情况下融合进VLM序列。动作专家看到的不仅是当前画面，还有"世界正在朝哪个方向变化"的先验。同时，一个DINOv2历史帧编码器提供长时程的语义上下文，弥补单帧条件化的短视。
第三，动作动态流形。 流匹配的初始噪声不是各向独立的高斯噪声，而是具有协方差结构的噪声，以尊重机器人运动学中的关节耦合关系。机器人手臂的多个关节并不是独立运动的------肩部旋转和肘部屈伸之间存在强耦合。各向独立噪声要求模型在去噪过程中"自己学会"这种耦合，而协方差结构噪声把这个先验直接编码进了生成的起点。
训练分为四个阶段：VLM预训练、动作token化与NTP视觉运动预训练、冻结VLM并用世界模型条件训练DiT流匹配解码器、端到端监督微调。训练数据约10,000小时，其中遥操作占60%（约6,000小时），UMI便携式第一视角采集占30%（约3,000小时），仿真数据占10%（约1,000小时）。在LIBERO和真实机器人基准上，PRIME W0取得了最先进的结果，系统性消融验证了每一个组件的必要性。
这项工作揭示的设计原则是：动作生成的质量，很大程度上取决于模型在生成动作之前"知道多少关于未来的信息" 。把世界模型作为先验注入，而不是让动作专家从零开始"猜"下一帧会怎样，是一条可扩展的路径。
四、CogMemory：长时程任务中的"选择性记忆"
VLA在短程操作中表现出色，但长时程任务暴露了一个结构性缺陷：记忆。
现有方法要么依赖策略网络内部的隐式时序表示------历史信息在层层传递中逐渐稀释；要么维护显式的记忆缓冲区------但冗余、噪声累积和低效检索让缓冲区很快变成负担。一个做了五分钟的任务，模型需要记住"五分钟前把钥匙放在了哪里"，但不需要记住这五分钟里每一帧的像素。
CogMemory的解法是变分认知记忆 。它把多模态轨迹编码为紧凑的潜在记忆表示 (M)，通过三个机制实现选择性保留：一个选择性状态空间记忆编码器 负责把长序列压缩为状态；多槽时间抽象 把不同时间尺度的信息分配到不同的记忆槽中------近期的细节和远期的关键事件不需要挤在同一个表示里；变分信息压缩对记忆进行有损但任务导向的压缩，保留与当前任务最相关的部分，丢弃冗余。
在动作生成阶段，记忆不是被"拼接"到输入里，而是通过记忆条件化的交叉注意力 和门控残差融合 进入动作表示。具体来说，以π₀风格的早期融合架构为例，CogMemory直接对动作后缀表示施加记忆条件交叉注意力：(R = \text{Softmax}(Q_{\text{suffix}} M^\top / \sqrt{D}) M)，然后通过门控机制 (G = \sigma(W_gQ_{\\text{suffix}}; R)) 将检索到的记忆特征自适应地融合回动作表示：(\hat{Q}{\text{suffix}} = Q {\text{suffix}} + G \odot R)。这意味着模型可以学会在什么时候依赖记忆、在什么时候依赖当前观测，而不是把两者静态地混在一起。
最关键的工程数据是：这套记忆模块仅增加345万参数，可以无缝嵌入早期融合和中期融合的VLA骨干。在长时程操作基准上，CogMemory在不同VLA骨干上都带来了持续改进，而且改进在长程时序任务上尤为明显------这与"记忆机制补的正是非马尔可夫决策的缺口"这一判断是吻合的。
这项工作指向一个更一般的结论：长时程能力的瓶颈可能不在于模型容量，而在于信息被组织和检索的方式。用一个轻量的、选择性的记忆层，比把模型做得更大、把窗口拉得更长，可能更接近问题的本质。
五、DT-TacVLA：当视觉不够用时，让触觉进入决策回路
VLA的主流感知模态是视觉。但在接触密集的操作中------插电源插头、插入USB接口、放置试管------接触状态才是决定成败的关键变量。接触是否建立、物体是否在手内滑动、法向和切向接触力如何变化，这些信息在视觉画面中几乎不可见，却直接决定了动作是否应该继续、调整还是撤回。纯视觉VLA在这些任务上的盲区是结构性的，而不是分辨率或光照的问题。
DT-TacVLA在SmolVLA之上构建了一个双时间尺度触觉融合框架，把触觉输入沿着两条互补的路径处理。
慢语义通路 以较低的更新率运行，通过语义引导的门控机制 把触觉图像序列与VLM特征自适应地融合，产出一个可以在多个快反射周期内复用的任务-接触上下文 。这条通路回答的是"当前处于什么接触阶段"------是接近、接触建立、还是已经滑移。快反射通路 则在每个慢上下文窗口内多次更新，把当前触觉标记的位移编码为紧凑token，通过触觉标记适配器注入动作专家，用实时接触反馈调制动作块。这条通路回答的是"此刻的接触状态要求我如何微调动作"。
这个双时间尺度设计的深层逻辑在于：触觉和视觉的时间尺度是不同的。视觉语义的变化相对缓慢，任务阶段在秒级尺度上切换；接触力的变化是毫秒级的，滑移可能在几十毫秒内发生。把两者塞进同一个更新频率，要么让触觉反应太慢，要么让语义计算浪费在快速循环里。DT-TacVLA让慢通路负责"语义锚定"，快通路负责"反射调节"，在架构上尊重了这种时间尺度的差异。
在电源插头插入、USB连接器插入和试管放置三个真实接触密集任务中，DT-TacVLA的成功率一致高于纯视觉VLA基线和消融变体。这项工作指向的结论是：VLA的"感知"不应该被默认等同于"视觉" 。当任务的关键状态无法从视觉中可靠推断时，引入新的感知模态不是可选项，而双时间尺度提供了一种让新模态与已有慢系统协同而不破坏其节奏的工程范式。
六、HuGe：从人类第一视角视频中"借"经验
把VLA扩展到人形机器人，面临一个数据困境：全身协调控制需要大量机器人演示，而这些数据在真实世界中采集成本极高 。人类的第一视角视频是一个诱人的替代数据源，但直接使用存在两重障碍：视觉上的具身差异 （人类的手臂外观、相机位置与机器人不同）和本体感知的缺失（人类没有机器人的关节角度和力矩信号）。
HuGe的解法是一套系统的跨具身迁移管线 ，在超过2,000小时 的第一视角人类和机器人数据上预训练了一系列人形通用VLA。它的架构选择有一个关键决策：模型不直接输出关节控制，而是预测"潜在运动token" 。这些token送入一个预训练的全身控制器，同时输出手部控制信号。这个解耦的意义在于，高层视觉语言决策和底层身体协调被分开了：VLA负责"做什么动作"，全身控制器负责"如何让关节执行这个动作"。高层模型不需要学习人形机器人的全部运动学细节，只需要在一个抽象的潜运动空间里做决策。
两个"桥接"机制让跨具身迁移成为可能。在预训练阶段，通过仿真回放 构建伪本体感知状态 ，弥补人类数据中缺失的机器人本体信号。人类视频里没有关节角度，但仿真环境可以根据人类手的运动反推出一个合理的机器人本体状态。在下游微调阶段，通过重渲染修改第一视角观测中的人类手臂外观，使其在视觉上更接近机器人的形态。
训练采用三阶段管线：第一人称预训练 → 人形适配 → 下游微调。在仿真基准HumanoidArena上，HuGe取得了最先进的结果；在Unitree G1真实机器人上，用视觉适配后的第一视角演示增强机器人演示，显著提升了抓取-放置任务的成功率。
HuGe的意义不在于某一个模块的巧妙，而在于它证明了：跨具身数据的价值不在于"像机器人"，而在于"任务经验本身" 。人类视频里的手不是机器人的手，但"抓住物体边缘、抬升、移动到目标上方、放下"这个任务结构是共享的。适配层的作用，是把这种共享的任务结构从一种具身形态"翻译"到另一种。
七、落地：VLA正在进入哪些真实场景？
技术进展的最终检验标准是场景。
工业与物流 。极智嘉在其Gravity具身智能框架下推出的Gravity Control因果干预模型，已经在π0.5、OpenVLA-OFT等代表性VLA架构、LIBERO仿真基准以及物理机器人平台上完成评估。在分布外任务上，它将任务成功率从17.5%提升到87.5%------这个数字说明，VLA在真实分拣和搬运场景中的可靠性正在跨越"可用"的门槛。
人形机器人。HuGe在Unitree G1上的实验表明，全身VLA已经能够在真实硬件上执行抓取-放置任务。人形机器人的全身协调控制，正在从遥操作和脚本化动作，走向由视觉和语言驱动的通用策略。
接触密集的精密操作。DT-TacVLA测试的电源插头插入、USB插入和试管放置，是电子制造、实验室自动化和医疗操作中的典型任务。触觉的加入让VLA从"看起来对"走向"接触上对"，这是精密装配场景对VLA提出的硬性要求。
自动驾驶。VLA的范式正在向驾驶领域延伸。语言不再只是描述场景的手段，而是驱动决策和控制的信号------模型用语言组织行为，而不仅仅是用语言解释行为。
八、一个尚未完成的范式
VLA的进展令人兴奋，但把它称为"已解决的范式"为时过早。
PRIME W0的世界模型注入、CogMemory的选择性记忆、DT-TacVLA的触觉通路、HuGe的跨具身迁移，这些工作各自解决了一个具体而关键的问题，但它们之间的组合尚未被系统性地验证。一个同时具备世界模型先验、长时程记忆、多模态感知和跨具身泛化能力的统一VLA，仍然是一个开放的研究目标。而且这些模块之间可能存在冲突：世界模型注入增加了推理开销，触觉快通路要求更高的控制频率，记忆检索需要额外的注意力计算------在真实机器人的算力约束下，这些开销如何共存，是一个工程上尚未回答的问题。
更根本的问题在于评估。仿真基准上的分数与真实机器人上的成功率之间，仍然存在难以忽略的差距。长时程基准上的"持续改进"、接触任务上的"更高成功率"、跨具身实验中的"显著提升"，这些结果的可迁移性需要更大规模的真实世界验证。不同论文使用不同的骨干、不同的数据、不同的任务集合，跨工作的直接比较仍然困难。
但方向是清晰的。VLA正在把机器人从"被编程的执行器"变成"被指令驱动的智能体"。当模型能够理解"把红色杯子放进水槽"这句话，并且真的做到时，机器视觉就不再只是"看懂世界"，而是开始在世界中行动。而这，正是具身智能最核心的那一步。