Runway开源机器人大模型Praxis-1，推演延迟压到62毫秒
如果把一台工业机械臂的控制软件卸掉，换上一套原本用来生成视频的人工智能，它能听懂人话抓起眼前的零件吗？在很多工程师眼里，这简直是在开玩笑。视频模型擅长的是在屏幕上画出以假乱真的一幕幕光影，而工厂里的机械臂需要的是极其精确的毫秒级关节马达指令，两者看起来根本不在同一个世界里。
2026年11月11日，曾经以视频生成闻名的 Runway 正式把一套名为 Praxis-1 的大模型完整公开，所有权重与代码免费开放给所有人使用。令人惊讶的是，这套拥有 270 亿参数的庞然大物不仅能像往常一样预测视频，还能直接顺滑地操纵机械臂。在英伟达设立的测试榜单上，它在 1200 个任务测试中拿下了 46.2% 的成功率，在开源机器人大模型中直接拿下了第一名。
一、一台会画画的脑子，怎么学会干粗活的
机械臂通常是怎么学习新动作的？过去最常用的笨办法是让人拿着示教器，手把手带着机械臂把动作从头到尾走上几百遍甚至上万遍，把每一次转动的角度和速度都死记硬背下来。这种采集机器人动作数据的过程既昂贵又极其缓慢。世界上运行的机器人本来就不多，能收集到的高质量动作轨迹更是少得可怜。
Runway 换了一个截然不同的思路：人类在日常生活中之所以能随手拿起一杯水，并不全靠身体反复测量每个关节的角度，而是我们脑子里早就知道玻璃杯移动时画面会如何变化。网络上最不缺的就是浩瀚的海量视频，既然人类能通过看别人做动作学会技巧，人工智能为什么不能通过观察真实世界的视频，先建立起对物理运动规律的深刻直觉？
于是，他们直接把一套成熟的 269 亿参数视频基础模型搬了过来当做底座。这套底座里包含着海量关于重力、物体遮挡、手部运动的物理直觉。在一次实际测试中，Runway 机器人负责人 Andy Chen 让它向搬运机器人示范如何把木板一块块抓进容器。让人意外的是，以往需要反复训练的大量步骤被彻底改写，模型仅仅看了半小时的人类示范，就学会了这项动作，随后的连续 15 次测试全部稳稳命中目标。
为了不让庞大的计算量压垮硬件，这套 269 亿参数的视频底座被巧妙拆分成了 129 个专家模块。在每一个计算瞬间，只有 1 个公共专家和 8 个特定专家被唤醒参与工作，单次真正运转的参数量被死死压在 28 亿左右。这意味着它在保持庞大物理常识库的同时，计算速度却与一个小型普通模型相差无几。
二、三处关键嫁接，把预知未来的画面变成手指力量
把视频模型直接连在机械臂上是没法动工的，因为视频生成在逻辑上天然存在一个致命漏洞：它生成整段视频时习惯前后帧一起看，但现实世界里的机械臂不可能看到未来。为了让这个虚拟大脑长出能干活的实体骨骼，研发团队在核心机制上连续动了三刀。
第一刀砍向了时间逻辑。原本的视频模型会同时审视过去与未来的所有画面，而研发团队在中期训练时把时间注意力强行切成了以 1.6 秒为一个片段的独立小块。每一小块只能回顾已经发生过的事情，绝不能偷看未来的画面。这样一来，它每次调用时只需看一眼当前摄像头拍到的最新画面与机械臂姿势，便能老老实实地推演接下来 1.6 秒内的真实物理发展。
第二刀是给视频大脑单独挂载一个运动专家。团队没有粗暴地把关节控制指令强塞进庞大的视频模型内部，而是在视频主干旁边外挂了一个参数量约 3 亿的小型转换网络。这个小网络就像一个专属翻译官，它通过交叉注意力机制专门提取视频主干深处的物理规律，再反向推导出机械臂每个关节需要的精确位姿与旋转动作。
第三刀则是极度巧妙的轻量化适配层。不同的机器人长相完全不同，有的长着两条腿，有的只有一条六轴单臂，还有的是流水线上的双臂工作台。研发团队让这套核心大脑与动作翻译官保持完全通用，只为每种不同的机械设备配置极其轻量的专属接口转换层。在 Noble Machines 的腿式人形机器人、Standard Bots 的六轴工业臂以及 Ultra 的双臂仓储工作站上，跑的完全是同一颗大脑。
测试显示，在从未见过的谷歌 RT-1 机器人硬件上，经过少量数据微调后，它的任务成功率直接从原本的 52.4% 跃升到了 80.0%；在另一款机械臂桌面测试中也跑出了 88% 的高分。更关键的是，在完成同样三项动作时，它的耗时只有 OpenAI 旗下顶级多模态大模型的 15 分之一，运行成本更是直接降到了 51 分之一。
三、从 800 毫秒到 62 毫秒，工厂流水线算得清这笔账吗
在实验室里让机械臂抓起一个积木只要成功一次就能发论文，但在日夜不停运转的工厂车间里，机械臂每隔 1.6 秒就要调用一次算法，一个小时就要连续交互 2000 多次。哪怕平均反应再快，只要其中一次卡顿半秒，昂贵的流水线节拍就会被瞬间打乱，抓在半空的零件也会立刻跌落。
在项目刚刚从实验室搬出来时，原始代码跑在单张英伟达先进芯片上，每次计算竟需要花费 800 毫秒。为了把延迟彻底压进工业节拍，工程服务商 Reactor 几乎把底层的调用路径彻底重构了一遍。
原本模型内部堆积了大量低效的代码调度与冗余通用运算，甚至每次都在白白计算一段没人会用到的历史噪点。工程师们不仅清理了无用的计算垃圾，还把生成算法极致压缩成短短两步：第一步仅仅跨越 7.4% 的路程，快速摸清场景并定下粗略框架；第二步则一步跨完剩余超过 90% 的路径。经过这番大手术，原本需要 2 万多次调用的计算流程被精简到不到 5000 次，单次推演时间被狠狠压缩到了令人惊叹的 62 毫秒，甚至可以在 100 毫秒之内将动作指令从远端数据中心直接送回产线。
更让小硬件团队振奋的是算力门槛的降低。这套完整模型在原始状态下需要占用高达 54.4GB 的显存，必须依赖昂贵的数据中心芯片；但经过专门的 4 比特量化处理后，模型体积直接缩减到 17.5GB，不仅性能损失极小，而且可以直接塞进英伟达个人工作站显卡甚至嵌入到机器人身上的微型芯片里跑起来。
四、免费领走大脑之后，真正的硬仗才刚刚开打
免费开放代码与权重，意味着以往只有科技巨头才能负担的机器人基础大脑，现在任何一个小型车间或创业团队都可以随时下载。然而，很多兴冲冲下载了代码的团队很快就撞上了冷酷的现实墙壁：榜单上的 46.2% 成功率，反过来读其实意味着在 1200 个模拟场景里，依然有超过一半的任务以失败告终。
仿真环境里的光线总是完美均匀的，桌面上的积木也整洁清晰，更不会有粗心的工人突然走过撞晃桌子。但在真正的工厂里，现实挑战比代码复杂100倍。测试表明，当面对外形非常相似的物体时，模型在推演下一步画面时很容易看花眼抓错目标；面对人类随口说出的模糊指令，它常常不知所措；而在长达十分钟、包含20个步骤的连贯作业中，每一步微小的抓取偏差还会像滚雪球一样不断累积，最终导致动作彻底变形。
更关键的是，这套免费的大脑安装包里并不包含安全防护网。现场限速、力量缓冲、物理急停按钮以及绝对禁入的安全围栏，依然需要硬件厂商在现场一点一滴地自行铺设。当所有人都能从网上免费下载同一颗大脑时，比拼的核心反而退回到了看似最原始的环节：谁更懂车间里的具体工装夹具，谁能采集到更脏更真实的行业死角数据，谁能保证机械臂连续运转一整年不出事故。
把视频世界的丰富想象力嫁接在冷冰冰的钢铁骨架上，确实为机器人推开了一扇崭新的大门。但想要让这台长了眼睛的机械臂真正稳稳端起饭碗，流水线上的硬仗其实才刚刚吹响号角。