具身智能的下一层:VLA、WAM 之后,抢的是 Harness 这层“衔接”

VLA管动作,WAM管预测,Harness管什么?

------答案不在模型里

目录

[01 同一个机器人系统里,三者分别负责什么?](#01 同一个机器人系统里,三者分别负责什么?)

[02 Harness 调用 VLA 或 WAM 时,动作是怎样生成的?](#02 Harness 调用 VLA 或 WAM 时,动作是怎样生成的?)

[03 如果把动作模型换了,Harness 要怎样配合?](#03 如果把动作模型换了,Harness 要怎样配合?)

[04 已经有 VLA 或 WAM,为什么还需要 Harness?](#04 已经有 VLA 或 WAM,为什么还需要 Harness?)

[05 三者有什么区别,又是什么关系?](#05 三者有什么区别,又是什么关系?)

[06 模型决定上限,系统决定落地](#06 模型决定上限,系统决定落地)


这两年,具身智能领域不断出现新的模型概念。最近,Harness 也开始在一些机器人研究和项目中崭露头角。

在上一篇文章中,我们聚焦Harness本身:它是什么、在系统里做什么、与传统机器人技术的边界在哪。

但 Harness 从不单独工作,它组织的正是模型能力的调用。

以 RoboHarness 为例,它把 VLA、WAM、强化学习策略和任务与运动规划器一并封装成可调用技能

------Harness 面对的从来不是某一种模型,而是一组各有边界的策略。

这篇文章我们打算把 VLA、WAM 和 Harness 放进同一个任务里:它们各自解决什么问题,优势和局限在哪里,又可能怎样结合?

先说一个重要结论:VLA、WAM 和 Harness 并不是相互替代的三代机器人"大脑",甚至不完全处在同一个层级。

01 同一个机器人系统里,三者分别负责什么?

假设机器人接到指令:"从柜子里拿一个杯子,放到桌上。"完成这件事,需要回答几个不同的问题。

**问题一:动作生成。**看见把手后,机械臂应该怎么接近、怎么拉动?

**问题二:行动后果。**拉动以后,柜门和周围物体会怎样变化?

**问题三:任务怎样继续推进。**如果门没打开,应该继续拉、重新观察,还是换一种操作?

上一篇分享中,我们针对这一示例作过详细步骤拆解,这里不再过多描述。指路👉具身智能卷到模型层之后,竞争开始往 Harness 上转移了......

这三个问题,正好对应三样东西。

VLA对应问题一:把图像、语言目标以及机器人自身状态等输入转成动作;

WAM对应问题二:利用未来状态预测来帮助动作学习与生成。

Harness 对应问题三:给模型准备信息,落实能力调用,取得执行结果,再把新信息送回下一轮决策。

这里有一个关键区别:VLA 和 WAM 通常指模型及其学习方式,Harness 则是一套围绕模型工作的系统机制,并不对应某一种神经网络。

Harness 可以调用 VLA,也可以调用 WAM 或传统规划器。

放进同一个任务里看,VLA、WAM 决定动作能力怎样形成,Harness 组织这些能力的调用,并把结果接入后续决策。

理解三者,需要同时看模型内部 和任务运行这两部分。

02 Harness 调用 VLA 或 WAM 时,动作是怎样生成的?

继续看"拿杯子"这个任务。如果通过 Harness 来组织执行,规划模型可以先决定"打开柜门",Harness 再把这条子任务、当前图像和机器人状态交给选定的动作策略。

接下来是调用 VLA 还是 WAM?区别就落在这段动作怎样生成。

  • 调用 VLA 时,重点是把眼前的场景和指令转成合适的运动。

许多 VLA 使用预训练视觉语言模型理解物体、场景和指令,再用机器人数据把这些表征连接到动作。

这样,不同任务可以复用已有理解和操作经验,Harness 也能通过不同子任务指令调用同一模型的操作能力。

π0 是一个典型例子。

它在视觉语言模型之外加入动作专家,通过流匹配生成连续动作块。简单说,模型结合图像、指令和机器人状态,把带噪的动作逐步整理成一段可执行运动。

接入前面的任务流程后,这类模型把 Harness 传来的子任务进一步落实为机械臂和夹爪的运动。

▲图 | π0 中间的视觉语言模型处理图像和指令,右侧动作专家结合机器人状态生成连续动作。上方成组排列的输出将一个语言目标落实为多个时刻的运动,使机器人能够连续推进一段操作。

  • 调用 WAM 时,动作学习还会利用未来变化。

对于开柜门,训练信号既包含机械臂怎样运动,也包含这段运动之后门和场景怎样变化。模型从中学习动作与后果之间的联系,再用这类经验帮助生成动作。

DreamZero 从预训练视频扩散模型出发,联合生成未来视觉表征与机器人动作;与 π0 主要借助视觉语言预训练不同,它尝试把视频模型学到的运动和交互表征用于控制。

视频即使没有精确的动作标注,也能提供场景怎样变化的信息;机器人数据补上的是另一半:把变化对应到具体动作,建立起动作与后果之间的联系。

▲图 | DreamZero 左侧训练过程联合学习视频与动作,右侧推理生成未来视觉表征和动作块。底部箭头将执行后的真实观测重新送回模型,刷新历史信息,让下一轮动作依据更新后的现场继续生成。

这样看,VLA 更强调观测、目标与动作之间的连接,WAM 更明确地学习动作对应的未来变化,两种能力也可以融合在同一个模型中。Harness 则在它们周围组织子任务和执行反馈,动作能力的学习方式与任务组织方式可以分别设计。

无论调用哪种策略,执行后的结果都应回到任务判断中:门已经打开,就继续寻找杯子;没有打开,就重新观察或调整操作。

动作怎样生成之外,系统还要明确何时读取新观测、怎样确认结果,这正是模型与 Harness 需要共同设计的地方。

03 如果把动作模型换了,Harness 要怎样配合?

把 VLA 换成 WAM,未必只是换一个调用地址。

Harness 还要了解这项能力接收什么信息、返回什么结果,以及一轮执行需要多久。模型能力的提升,还要通过合适的调用与反馈流程,才能稳定转化为完整任务的收益。

  • 首先,世界预测,不一定发生在推理时,还主要发生在训练中。

例如 SelfWAM 同时学习动作、动作条件下的未来图像以及机器人自身区域预测,但部署时可以不生成未来画面,只走动作预测路径。

**如果把这类 WAM 接入 Harness,调用流程仍可以接近 VLA:**传入当前状态和子任务,取得动作并执行,无须额外等待一段未来视频。

▲图4 | SelfWAM 中部展示训练时视频与动作信息如何交互,右上角给出单独的动作预测路径,右下角是可选的视频预测路径。两条路径的分开,使模型既能利用世界预测学习动作,也能在执行时保留较轻的动作生成流程。

前面提到的 DreamZero 属于另外一类:它把视觉未来与动作一起生成,调用时需要承担相应计算。若还要把预测交给高层规划,就需要另外设计返回接口,由 Harness 将预测与真实观测分别组织进上下文。

执行时序同样需要重新安排。

无论接入哪一类模型,任务系统都要安排好动作执行、重新观测和下一次推理的时序。Harness 不能只记录"模型已返回",还要跟踪这段动作是否仍在执行,让下一轮任务判断用上合适时刻的现场信息。

  • 其次,模型的预测与执行后的事实需要分开。

VLA 给出了拉门动作,不能据此确认门已打开;WAM 生成了门打开的未来画面,同样还要用真实观测核对。

动作模型可以依据新观测继续控制,Harness 则需要把任务层面的结果送回规划模型,支持它决定继续找杯子,还是调整开门操作。

两类模型的能力边界,也决定了 Harness 能怎样处理失败。

VLA 可能缺少某种接触操作的经验,WAM 也可能预测错物体变化。

Harness 可以组织重新观察、重试或切换已有能力,但没有合适策略时,反复调用并不能补出技能。结果评价器本身也会出错,恢复是否有效要看真实执行。

因此,成本与收益必须放在同一条任务链里算:VLA、WAM 的推理占多少时间,Harness 的上下文准备、结果检查和重试又增加多少开销?

如果额外预测没有改善动作,或额外检查只增加等待,完整任务就未必更好。三者的配合,应体现在更少的重复失败、更可靠的恢复和更合适的完成时间上。

04 已经有 VLA 或 WAM,为什么还需要 Harness?

除了跟踪一次调用,Harness 还要处理多项能力之间的交接。

假设 VLA 或 WAM 已经让机器人抓住杯子了,接下来准备移动到桌边,那么另一项负责移动的策略能直接接手吗?

不一定。

因为两项策略可能使用不同接口,也可能要求不同的起始姿态。前一项动作做得很好,仍然可能把机器人留在后一项策略不熟悉的状态。

这类问题,单靠把动作模型做得更强,未必就能自动解决。

Harness 处理的是这些能力周围的连接。

它整理当前信息,为规划模型提供上下文,落实模型选定的调用,跟踪真实执行结果,再支持下一轮决策。

VLA 或 WAM 负责怎样完成一段动作,Harness 则帮助系统确认这段动作怎样结束、后续能力从哪里接上。

RoboHarness 的记忆桥就是一个具体例子。

它利用过去的执行轨迹,估计下一策略熟悉的状态,再通过过渡动作改善交接。这里的记忆不是只保存一句"杯子拿到了",还需要保存能影响下一步执行的身体与动作经验。

▲图5 | RoboHarness 右下角列出可调用的 VLA、WAM、强化学习策略与规划器,左下角用 Memory Bridge 连接相邻策略。执行经验帮助系统找到合适的交接状态,让前一项能力留下的身体姿态能够衔接下一项操作。

这也说明,Harness 不必与 VLA、WAM "竞争",它补的是模型管不到的那一段。

RoboHarness 在 2026 年 9 月 29 日更新的 v3 中,已经把 π0.5、经过强化学习后训练的 OpenVLA-OFT、Faster-WAM 和任务及运动规划器放进同一可调用策略库。四类能力同时可用的设置限于 LIBERO-LoHo 与相关消融,具体调用随任务而定;真机实验仍是 π0.5 与规划器的组合。

在这种组合中,VLA、WAM 各自保留动作生成方式,Harness 利用策略接口与执行经验把它们组织起来。

它的优势是复用已有能力;代价则是需要维护不同能力的适用条件、状态交接和调用接口。动作模型越丰富,外层协作也越需要清楚的约定。

这种分工也会随模型能力变化。

π0 的论文已经展示过高层视觉语言模型拆分子任务、底层策略执行的做法。如果 VLA 或 WAM 能独立完成更长的操作,Harness 就可以少做一些细粒度调用,把重点放在任务边界、能力交接和异常处理上。

外层需要承担多少工作,取决于动作模型已经能做到哪里。

05 三者有什么区别,又是什么关系?

把前面的讨论收拢,可以从三个问题记住它们。

  • VLA:怎样把观测和目标变成动作。

它通常接收图像、语言和机器人状态等信息,输出动作或动作序列。重点是把任务理解与操作经验连接起来。

  • WAM:怎样利用未来变化,帮助动作学得更好。

它把未来状态预测与动作学习联系起来。有的模型部署时联合生成未来和动作,有的把预测主要留在训练中。重点是动作与后果之间的关系。

  • Harness:怎样把一次次能力调用接成完整任务。

它围绕模型组织上下文、调用、记忆和真实反馈。重点是任务运行中的信息与能力怎样衔接,而不只是某个模型输出什么。

三者因此可以在不同位置结合:动作模型用世界预测来训练,系统再通过 Harness 调用它;也可以保留多种 VLA、WAM 和传统工具,按任务需要组织使用。

模型内部可以融合,系统外部也可以分工协作。

这三种思路也对应不同的改进位置:

  • 动作经验不足,优先改善策略与数据;
  • 动作学习需要更多后果信息,可以引入世界预测;
  • 已有能力在任务里接不上,则要改进 Harness 的状态组织、调用与反馈。

模型能力和系统组织可以一起改,但需要分别检验各自带来的收益。

06 模型决定上限,系统决定落地

这三者的关系,反映了具身系统的一个核心问题:哪些能力适合通过训练学进模型,哪些信息、约束和执行过程需要在运行时明确管理。

Harness 更有价值的发展方向,是让不断升级的模型能力成为可复用、可检查的任务能力。

随着 VLA、WAM 能独立完成更长的操作,外层系统应减少不必要的细粒度干预,把重点转向能力交接、结果验证和异常恢复。模型与系统的分工需要不断调整;如果每换一个模型都要重写整套任务流程,复用就仍然停留在接口表面。RoboHarness 提供了多策略协作的初步例子,但稳定的跨模型、跨任务复用还需要更多证据。

因此,Harness 的进步不应由模块数量衡量。

它应把模型能力的提升转化为可验证的执行收益;而技能缺口与物理安全,仍需要模型、控制器和专门验证共同解决。

参考文献

1. Kevin Black 等. π0: A Vision-Language-Action Flow Model for General Robot Control. arXiv:2410.24164,v4.

2. Seonghyeon Ye 等. World Action Models are Zero-shot Policies. arXiv:2602.15922,v1.(DreamZero)

3. Bikang Pan 等. SelfWAM: A Self-Grounded Unified World Action Model for Fast Robot Control. arXiv:2608.00725,v1.

4. Jinbang Huang 等. RoboHarness: Memory-Driven Orchestration of Heterogeneous Robot Policies for Long-Horizon Planning. arXiv:2607.18060,v3.

相关推荐
搞科研的小刘选手4 小时前
【计算机类稿件可投 | 211高校主办 | IEEE出版 | 南京(线上线下同步召开)】2026年机器学习与具身智能国际学术会议(ICMLEI 2026)
机器学习·具身智能·南京航空航天大学·学术会议·会议推荐·南京
火星机器人life4 小时前
室内具身智能的语义建图:进展、挑战与未来方向全景解读
机器人·综述·具身智能·语义建图
不爱学英文的码字机器1 天前
FAST 论文解读:把700个动作token压到53个之后
论文解读·具身智能
音视频牛哥1 天前
“人工智能+”走向产业深处:音视频产业的机遇、挑战与技术选择
人工智能·音视频·具身智能·whip/whep·人工智能+·smartmediakit·国务院人工智能+行动
是Yu欸2 天前
机器人如何把二维画面变成三维动作?ECCV 2026 3DWay 论文解读
3d·机器人·论文解读·具身智能·eccv 2026
cnbestec2 天前
跨本体策略迁移对照:Stretch 3移动操作机器人与franka机器人FR3(franka七自由度机械臂)实验解析
具身智能·hello robot机器人·stretch 3机器人·hello robot·franka 科研平台·stretch 4·franka机械臂
深蓝学院3 天前
TRO顶刊|隐蔽攻击下的多机器人安全学习控制:小规模学习,大规模泛化
机器人·具身智能
是Yu欸3 天前
面向启元 Q1 的手势交互:12 组 MobileNetV3 微调实验与 Skill 接入方案
交互·模型微调·具身智能
Godspeed Zhao4 天前
具身智能中的无线技术——无线线束2
具身智能