RoboJEPA:扩展机器人潜在世界模型

论文 :RoboJEPA: Scaling Robotic Latent World Models

作者 :Artem Zholus¹˒²˒³˒⁴,*,Nicolas Beltran-Velez¹,Jianhao Yuan¹,Sarath Chandar²˒³˒⁴,Tushar Nagarajan¹,Daniel Severo¹,Koustuv Sinha¹,Michal Drozdzal¹,Adriana Romero Soriano¹,Jeannette Bohg¹†,Nicolas Ballas¹†,Mahmoud Assran¹†(*工作完成于 Meta;† Joint last author)

机构 :¹ FAIR at Meta;² Chandar Research Lab;³ Mila - Quebec AI Institute;⁴ Polytechnique Montréal

日期 :2026-10-08(arXiv v1 标注 2026-10-07)

链接 :arXiv:2610.10515 · 项目页 · 代码 facebookresearch/robo_jepa

开源许可 :仓库声明为 CC BY-NC-SA 4.0 (非商业;第三方衍生代码保留上游许可,见 THIRD_PARTY_NOTICES.md)。发布全部模型检查点以及训练与机器人部署代码。


摘要(Abstract)

潜空间世界模型已展示出在真实世界中预测未来状态并规划的卓越能力。然而在实践中,我们缺乏原则性方式去估计其能力如何随模型规模、数据与计算量缩放------这一开放问题减缓了该领域的进展。在本工作中我们提出 RoboJEPA :基于联合嵌入预测架构(Joint Embedding Predictive Architecture, JEPA)、并在覆盖 12 种机器人本体的大规模数据集上训练的世界模型。我们表明 RoboJEPA 的想象误差 (imagination error)------即其潜空间 rollout 的误差------对计算量服从二阶幂律 ,使我们能够在远超拟合该律所用尺度之外预测模型质量。我们进一步表明下游机器人规划性能随计算量可预测地提升,且想象误差与之强相关,从而使其成为真实机器人评测的可靠代理。最后,我们证明潜空间世界模型可被零样本 部署为机器人智能体:朝向单张目标图规划,在真实硬件上求解需要长时程规划的任务。我们发布全部模型检查点以及训练与机器人部署代码。据我们所知,这是首个为在真实机器人数据上训练的多本体机器人世界模型建立缩放律的工作;而参数量为 8B 的 RoboJEPA,是迄今训练的最大 JEPA 预测器模型。

【分析·命题与开源边界】

摘要钉死三件事:(1)JEPA 式动作条件潜空间世界模型 + 多本体真实数据;(2)想象/前向预测误差对 compute 的二阶幂律 (正文写为 或等价 );(3)该离线误差可作为真机规划代理,并支持单目标图零样本规划。许可为 CC BY-NC-SA 4.0------研究复现友好,商用需另行授权。

图1:RoboJEPA 可以从离线预测到真实机器人控制实现可预测的扩展。 左图 :世界模型的前向预测(ℓ1在DROID和RoboCasa预留数据集上取平均值后,误差遵循训练计算量的缩放规律。 中间图 :RoboCasa下游规划的成功率随着计算量的增加而可预测地提高,且适用于难度不断增加的任务。 右图 :在真实的Franka机器人上,抓取、物体提升和拾取放置任务的成功率随着模型尺寸的增大而提高。 动作从均匀分布中采样,并在规划过程中使用世界模型进行优先级排序。

【分析·图 1 信息流】

图 1 把「离线预测 → 仿真规划 → 真机规划」串成同一 compute 轴:左为 DROID+RoboCasa 上前向 误差缩放;中为 RoboCasa 任务成功率随 compute;右为真机 Franka 上 Grasp / Object Lift / Pick and Place 随模型尺寸提升。规划侧动作从均匀分布采样,再由世界模型排序------无任务策略微调。


1 引言(Introduction)

缩放一直是人工智能近期进展的主要引擎之一。使缩放特别可行动的是可预测性:经验缩放律把模型损失与用于训练的数据量、参数量与计算量联系起来,从而在额外一个数量级的计算被花费之前就能预测其回报(Kaplan et al., 2020 --- Scaling laws for neural language models;Hoffmann et al., 2022 --- Chinchilla / Training compute-optimal LLMs)。这种可预测性把缩放从赌博变成科学:它告诉从业者在给定预算下应训练多大的模型、应搭配多少数据、以及回报何时递减。此类缩放律已在语言模型(Kaplan et al., 2020;Hoffmann et al., 2022)、图像/视频及其他模态的生成建模(Henighan et al., 2020 --- Scaling laws for autoregressive generative modeling)、或图像语义分类(Zhai et al., 2022 --- Scaling Vision Transformers)上建立。相对而言,关于物理世界模型是否、以及如何具有同样的缩放可预测性,所知甚少。

我们为机器人学中的世界模型研究这一问题。世界模型是环境动力学的学习模型,智能体可将其 rollout 以想象未来状态并规划(Ha and Schmidhuber, 2018 --- World Models;Hafner et al., 2023 --- DreamerV3)。我们聚焦在潜表征空间中预测与规划的潜空间世界模型 (Hafner et al., 2020 --- Dreamer;LeCun, 2022 --- A path towards autonomous machine intelligence;Assran et al., 2025 --- V-JEPA 2)。潜空间世界模型已展示:可朝向测试时指定的目标规划,而无需任务特定策略(Assran et al., 2025)。先前的潜空间世界模型通常在单一尺度上训练,其质量如何随数据、参数与计算变化尚未被刻画(Assran et al., 2025;Hafner et al., 2025;Zhang et al., 2026)。其他聚焦缩放的研究,要么针对机器人控制之外的生成式视频与交互环境模型(Bruce et al., 2024;Google DeepMind, 2024;Hu et al., 2023),要么缩放的是策略而非世界模型(Lin et al., 2025;Sartor and Thompson, 2024;Ai et al., 2025)。相对地,我们的目标是为潜空间世界模型建立缩放律。这在机器人学中尤为重要------高质量交互数据稀缺且采集计算昂贵:知道世界模型在给定训练计算预算下将具备何种能力,能让从业者决定是投资更大模型、更多演示,还是更多计算,并揭示数据预算何时已饱和。

为此,本工作引入 RoboJEPA ------一族动作条件的潜空间联合嵌入预测世界模型。我们有意保持训练配方简单,以聚焦缩放行为 。RoboJEPA 是一个前馈 Transformer,在单次前向传播中确定性预测下一潜状态。它以冻结编码器潜空间中的朴素 回归损失训练。RoboJEPA 运行在冻结的 V-JEPA 2.1 编码器的表征空间中(Assran et al., 2025 --- V-JEPA 2;Mur-Labadia et al., 2026 --- V-JEPA 2.1),并在统一混合的 23 个公开操作数据集上训练------覆盖 12 种本体与 26 种不同动作空间。我们**研究世界模型本身的模型缩放,参数量从 22M 到 8B,同时保持表征编码器固定,因此我们的律刻画的是:在共享表征之上,一个可规划动力学模型如何缩放。**我们建立缩放律,估计前向预测评估损失作为训练计算量函数的计算高效前沿(Kaplan et al., 2020;Pearce and Song, 2024)。

我们的核心发现是:机器人世界模型质量随计算量可预测地缩放。第一,分布外数据上的潜空间前向预测损失服从缩放律

其中 C 为训练计算量,E 为不可约损失, 为与 E 一并估计的缩放律参数。这在真实机器人留出集(DROID(Khazatsky et al., 2024))与仿真留出集(RoboCasa(Nasiriany et al., 2026))上均成立。第二,离线数据上的这一改进迁移到机器人上的下游规划性能:在一套 RoboCasa 规划任务上,下游成功率随训练计算量可预测提升,使得世界模型的潜空间前向预测损失成为其在线规划性能的强预测因子。例如,仅当模型以超过 FLOPs 的训练计算量训练时(尺寸为 2B、4B 与 8B),才能经非贪心规划求解 RoboCasa 中的物体交互任务,而计算量更少的较小模型则不能(见图 9)。

我们在真实与仿真机器人上部署 RoboJEPA,朝向定义环境最终状态的单张目标图规划。跨两个机器人平台,我们在超过 50,000 个评估回合中执行规划。我们对每台机器人保持规划超参固定,仅对更难任务改变规划时程。我们在包括抓取、抬起与取放的真实世界操作任务集上规划。在仿真中,我们的规划跨越从到达(reaching)到物体推动等难度递增的任务。我们观察到:随模型尺寸增大,真机成功率呈改进趋势。定性上,我们还观察到规划策略行为随模型增大而变化:例如在物体操作任务中,仅参数量 ≥2B 的模型在抓取后保持夹爪闭合以完成任务,而较小模型常意外张开夹爪导致掉物。

最后,为支持开放研究与可复现性,我们发布全部模型检查点以及训练与机器人部署代码。据我们所知,这是首个为在大规模、多本体真实机器人数据上训练的动作条件机器人世界模型建立计算最优缩放律的工作,也是首个带验证外推的 JEPA 缩放律。我们还训练了迄今最大的 JEPA 预测器,参数量为 8B。

【分析·缩放律形式】

引言给出的形式 L(C)=A C\^{\\alpha-\\gamma\\ln C}+E 与图 5 / 表 2 中的 L(C)=E+A C\^{\\alpha-\\gamma\\ln C} 等价。脚注说明:对后者,\\ln(L-E) 与 \\ln C 的依赖是 \\ln C 的二次函数------故称「二阶」幂律。相对标准一阶幂律 E+A C\^{\\alpha}(\\alpha 常数),指数本身随 \\ln C 线性变化。
【分析·与「缩放策略」的分界】

引言明确排除两类邻近工作:像素/视频生成世界模型(Genie、GAIA 等)与直接缩放 VLA/策略。RoboJEPA 的独特主张是:冻结编码器 + 只缩放预测器,并在真实多本体操作数据上给出可外推的 compute 律,再把离线想象误差接到下游规划。

2 方法与数据(Method and Data)

为研究机器人世界模型的缩放行为,我们需要一族随训练计算量缩放的模型。为此我们引入 RoboJEPA------一族动作条件潜空间世界模型。RoboJEPA 模型的目标是预测场景的潜特征在机器人动作下将如何演化。形式上,在时间步 ,给定过去视觉特征历史(其中 是给定视觉输入 的潜编码)、本体感觉状态 与动作 ,我们的模型是函数 ,在一次神经网络前向传播中确定性预测下一帧特征:

动作要么是状态增量,即 ,要么是绝对机器人指令,此时。把预测反馈为输入,使我们能对未来动作自回归 rollout,例如:

这使我们能自回归地 rollout 世界模型,以预测一串动作对场景潜特征的影响,并进而规划。

RoboJEPA 中的规划由一张编码一次得到目标特征 的目标图像指定 ;在每个时间步 ,我们搜索其想象潜空间 rollout 最接近目标的 步动作序列:

其中 由在当前上下文下、在动作序列 下将 前向 步得到。我们用交叉熵方法(cross-entropy method, CEM)优化式 (3)(具体实例见第 2.2 节与附录 F)。

本节其余部分描述这族世界模型的设计与训练,以及如何将其用于规划,目标是随后研究其缩放行为。

【分析·零样本规划接口】

式 (3) 把「任务」压缩成单张目标图的特征 :无语言指令、无子目标、无任务策略头。CEM 在动作空间采样,用想象 距离打分------这与后文「动作从均匀分布采样、由世界模型排序」一致,也解释为何相对 VLA 不易受 DROID 中动词分布偏斜(如 "lift" 稀缺)影响。

2.1 RoboJEPA 架构(RoboJEPA Architecture)

图 3|RoboJEPA 训练。冻结的 V-JEPA 2.1 编码器 (Mur-Labadia et al., 2026)把输入多视角帧 映射为特征网格。预测器 消费每步的多视角视觉()、动作()与本体感觉状态()token 序列,以视角与本体标识为条件,并预测下一步特征 。训练最小化两项损失:(左)教师强制损失------预测特征与编码器下一步特征之间的逐 token 距离(式 (5));(右)**rollout 损失------试图预测与教师强制相同的目标序列,但给定更少输入帧。**模型被给予完整动作训练序列但仅编码特征的前缀,并在 KV-cache 下自回归预测剩余特征。由此模型学会做准确的长期预测。

RoboJEPA 世界模型族建立在V-JEPA 2(Assran et al., 2025)与 V-JEPA 2.1(Mur-Labadia et al., 2026)的动作条件配方之上。本小节介绍 RoboJEPA 预测器的架构。RoboJEPA 与 V-JEPA 2-AC 之间差异的完整列表总结于表 4,并详述于附录 A。

跨机器人数据集缩放世界模型具有挑战性,因为每个数据集带有不同数量的相机视角、本体感觉状态维度,以及控制器类型与频率。因此,我们旨在构建能处理任意视角组合、控制器类型与本体感觉信息的世界模型架构。在每个时间步 ,冻结的 V-JEPA 2.1-G 编码器把分辨率 、各跨 帧的最多 个同时相机视角------记为 ------映射到潜特征 ,其中每个 是 的 维 patch 嵌入网格,,,。我们使用 V-JEPA 2.1 作为编码器,因为工作早期发现它导致世界模型成功且可预测的缩放 ,而 V-JEPA 2 则不然(我们在附录 K 中假设原因)。与这些特征一起,每个时间步提供动作 与本体感觉状态 ,同时每个输入与在特定动作空间中运行的机器人类型相关联,由机器人 id 标识,以及每视角相机类型 。这里 与 是已知机器人 id 与相机类型的有限集。接下来我们描述如何对输入做 tokenization,以及世界模型架构。

表 1|23 数据集、26 动作空间混合的压缩视图。视频小时数对所有录制视频时长求和。动作小时数度量遥操作或策略执行的总时长,不论相机数量只计一次。按数据集分解(分辨率与源 FPS)见表 7;采样权重见表 8;语义相机映射见表 9。我们报告能够收集并核实的数据集规模,可能小于原论文报告值。

数据集组 Episodes 视频小时 动作小时 本体
DROID (Khazatsky et al., 2024) 92k 414 138 Franka
Roboset (Bharadhwaj et al., 2024) 73k 1244 380 Franka (Roboset)
RoboMind (Wu et al., 2024b) 35.3k 276 98 Franka, AgileX
LeRobot (Cadene et al., 2024) 21.5k 182 93 SO-101
RoboCasa365 (Nasiriany et al., 2026) 32k 482 482 Franka + Omron (sim)
1X (1X Technologies, 2024) 23.5k 90 90 1X humanoid
AgiBot World (AgiBot-World-Contributors et al., 2025) 167.5k 8036 2734 AgiBot dual-arm, humanoid
Open-X Embodiment¹ (Open X-Embodiment Collaboration et al., 2023) 2.4265M 4298 2677 8 platforms
Total 2.8713M 15,022 6,692 12 platforms / 26 ids

¹ 使用 Open-X Embodiment 中 9 个数据集:RT-1(Brohan et al., 2023)、Bridge(Ebert et al., 2022)、Bridge V2(Walke et al., 2023)、QT-Opt(Kalashnikov et al., 2018)、MT-Opt(Kalashnikov et al., 2021)、RoboNet(Dasari et al., 2019)、Language-Table(Lynch et al., 2023)、BC-Z(Jang et al., 2022)、FMB(Luo et al., 2024)。

Tokenization。 我们分别编码每个模态,并把结果交错成单一扁平序列。我们将这些编码后的多模态向量称为 token。 我们 tokenization 方案的动机是:让模型仅从结构化 token 序列学习全部时间依赖 。为对每个 做 tokenization,我们用单一线性层把每个 patch 从 投影到世界模型宽度 ,得到形状为 的视觉 token 张量 。动作与本体感觉状态由(机器人 id 特定的)线性编码器作用于 与 映射到 。

我们按时间步交错这些 token:

从而使每个时间步贡献 个视觉 token,后跟一个动作与一个状态 token。在此排序之外我们不施加结构:模型消费扁平序列,并从位置编码与外部条件信息(如机器人 id 与视角类型)恢复时空与视角结构。

世界模型架构。 RoboJEPA 经确定性模型执行下一嵌入预测。RoboJEPA 以视觉 Transformer(Dosovitskiy et al., 2021 --- ViT)为骨干,并把预测参数化为: 的每个空间输入 token 预测 的对应空间 token。我们使用帧级因果注意力掩码,使对应于时间步 的查询只能访问步 t 或更早的键与值 。模型堆叠形成标准 ViT 残差流的 个块。每个块的架构遵循现代 ViT 变体的标准配方:我们使用 pre-normalization、旋转位置编码(Rotary Position Encoding)(Su et al., 2024 --- RoFormer / RoPE)、RMSNorm 归一化(Zhang and Sennrich, 2019 --- RMSNorm)、GELU 前馈块(Hendrycks and Gimpel, 2016 --- GELU),以及 QK-normalization(Dehghani et al., 2023 --- Scaling Vision Transformers to 22B)。我们发现:在缩放数据集规模与模型规模时,QK-normalization 对训练稳定性尤为重要。

因子化 RoPE 与视角条件。 时空位置信息由多轴旋转位置嵌入(Su et al., 2024)提供:它把每个头的通道分成四个等宽子块,宽度为 ,分别对应四个轴 ------时间、高度、宽度与视角,其中 为头维度。我们的 RoPE 版本按各自的每轴频率独立旋转每一轴 (附录 A.1)。动作与状态 token 有时间索引但无空间索引,即动作 的 4D 索引为 。我们把该 4D RoPE 与 RoPE 之后施加的每层可学习视角偏置相结合。想法是:4D RoPE 告知模型 token 属于不同视角,而视角偏置告知模型每个视角持有何种内容(例如左相机、腕部相机;附录 A.2)。这使我们能随机化视角顺序,同时仍提供模型正在处理哪些视角的信息。

注意力模式。 我们使用联合空间--时间--视角注意力且不对其因子化,意味着每个 token 原则上可访问空间--时间--视角序列中所有其他 token,除非被注意力掩码限制。然而,无掩码会允许过去 token 激活访问它们需要预测的未来信息 。例如, 的 token 激活在自注意力中将能访问 的 token。因此,我们使用时间步因果掩码 (Assran et al., 2025;Po et al., 2025;PAN Team et al., 2025)。即:与时间步 t 关联的查询只能访问时间步 的键。这包括与不同视角、动作与状态关联的注意力查询与键。此外,我们通过仅让查询访问最多过去 8 个时间步的键 ,使注意力局部化(Assran et al., 2025;Po et al., 2025;PAN Team et al., 2025)。该设计帮助模型外推到预测更长嵌入序列,因为没有任何查询会关注比模型训练时更长的历史------包括在长自回归预测期间。注意力掩码实现细节见附录 A.3。

输出。 在把整个 token 序列送过骨干后,我们将对应于 的 token 投影回编码器空间。我们把输出从 D 维映射到 维并施加层归一化。想法是:由于输入与输出特征都已归一化,这加强了学习信号并降低训练与自回归生成之间的差距。我们不使用任何可学习模块预测状态,而简单地通过积分计算本体感觉状态 ,即 ,或 (例如当处理具有非平凡机器人动力学的指令动作时)。

训练目标。 我们训练世界模型预测下一嵌入;并且为最小化暴露偏差(exposure bias) ,我们额外在其自身输出上、在潜在长时程上训练它。因此我们的目标有两个损失分量。第一分量训练模型沿编码多视角帧序列预测每一个下一嵌入。第二分量使用相同目标,但模型仅被给予更少编码帧的前缀(但完整动作序列) ;然后它自回归预测缺失嵌入(式 (1)(2)),并用相同目标在其上训练。我们使用键--值缓存以加速该自回归预测(第 2.2 节与附录 H)。第一损失分量确保模型预测固定编码器的表征,第二分量使世界模型对其自身误差鲁棒并抑制误差累积。两个分量使用相同的逐 token 目标,总损失为其平均:

其中 是教师强制的一步预测, 是从更短前缀 rollout 的自回归预测,二者都与编码器特征 比较。损失的完整形式(含每帧掩码与 patch 归一化)、rollout 日程与优化器见第 2.2 节与附录 C。

【分析·与 V-JEPA 2-AC 差异(表 4 预告)】

同族骨干与「下一帧潜预测 + \\ell_1」参数化保留;RoboJEPA 侧关键改动:RMSNorm + QK-norm、4D RoPE(加视角轴)、GQA、每本体/每视角条件、预训练 与 cooldown 的多步 AR+KV-cache、flat LR→cooldown(相对 cosine)、训练数据从 ≤73k DROID 回合扩到约 2.87M 回合混合。完整对照见附录 A / 表 4。

2.2 数据、训练与推理(Data, Training and Inference)

数据。 训练跨机器人本体与场景泛化的世界模型既需要规模也需要多样性。我们汇编 23 个公开操作数据集,覆盖 12 个机器人平台------单臂与双臂机器人以及人形------跨真实与仿真数据。汇编数据集含 15,022 小时视频,其中 6,692 小时与动作同步;部分演示由多相机录制。一些平台仅用一台相机录制(例如大部分 Open-X Embodiment 数据),而另一些使用两或三台相机(例如 DROID 与 RoboSet)。此外,数据集以不同机器人动作空间、相机位姿、传感器分辨率与帧率采集。因此,为构建数据可扩展的世界模型,我们统一训练数据集,并把架构与训练配方表述得足够通用以处理任意机器人数据集。表 1 总结该混合,附录 B 提供关于其动作空间、统一与采样的进一步细节。

图 4|仿真中双视角想象随尺度改善。RoboCasa rollout 的前 60 秒(两个 agent-view 相机,在每个单元内堆叠)由参数量 0.3B、2B 与 8B 的 RoboJEPA 想象。更大模型在更深 rollout 中保持两视角相互一致,并显著更好地保留操作细节。所有世界模型共享同一编码器(V-JEPA 2.1-G)与解码器。

我们训练一系列 RoboJEPA 模型,尺寸从 22M 到 8B 参数,训练计算量从 到 FLOPs。对所有模型,我们使用 AdamW(Loshchilov and Hutter, 2019 --- AdamW),权重衰减 0.1,全局梯度范数裁剪 1.0。我们线性预热学习率,在训练大部分时间以峰值 保持恒定,然后在末尾短 cooldown 阶段线性衰减到零(Hu et al., 2024)。这使我们能跨以不同计算量训练的模型重叠平坦学习率阶段:我们只运行一次平坦阶段,并从中间检查点执行学习率退火。训练配置与超参的详细描述见附录 C。

训练。 RoboJEPA 的训练配方被设计为便于在尽可能多的可用数据上缩放模型,这要求同时在许多异质机器人数据集上训练。此类异质数据的一个核心问题是:一些数据集只提供单视角,而另一些提供多视角,且常在不同分辨率。因此我们训练模型以处理可变视角数与可变分辨率。为此,我们把 GPU 划分成组,组内所有 GPU 处理相同视角数与相同分辨率。实践中这常导致组间步时不平衡,因此我们通过为不同组使用不同批量大小来平衡这些时间。我们最初的缩放律实验在分辨率 240\\times 320 上、仅用两个 GPU 组完成:一组处理单视角数据,另一组处理双视角数据。然而最终我们发现纳入高分辨率 GPU 组有益,得到四组:单视角低分辨率(240\\times 320)、双视角低分辨率、单视角高分辨率(480\\times 640)、双视角高分辨率。我们在附录 C.1 与 C.2 详述 GPU 分组与批量大小平衡。

推理与规划。 RoboJEPA 通过在潜空间预测未来、并搜索把该未来带到期望目标的动作序列来规划。我们采用后退时域(receding-horizon)CEM(Rubinstein, 1997;de Boer et al., 2005)作为带图像目标的规划算法;重要的是,我们仅使用代表任务最终状态的单张图像目标,且不使用子目标。值得注意的是,我们跨本体与任务以同一组超参运行全部规划。该过程需要运行世界模型的数千次前向传播;若每步重算完整历史则代价过高。因此,我们采用滚动 KV-cache,在自注意力中复用过去步的键与值。这样,每步模型只处理单帧、动作与本体感觉向量,而过去信息由缓存提供(见附录 H)。此外,我们采用 PyTorch 编译以进一步加速推理。然而,在典型规划场景中我们需要在真机规划期间运行编译推理;由于首次编译耗时,带编译的规划在实践中可能变得过慢。因此我们构建简单推理引擎:预编译推理计算并保存到磁盘,规划时再加载回来(见附录 I.2)。最后,由于 CEM 规划高度可并行,我们把机器人直接连接到 GPU 集群并在多 GPU 上运行规划。这样我们使规划足够快以实用:虽非实时,但对 8B 模型执行多步规划也仅需数秒。

2.3 扩散解码器(Diffusion Decoder)

为定性理解我们世界模型的能力,我们训练一个从预测特征产生像素输出的扩散解码器 ;其目标是可视化世界模型的前向预测。解码器是一个扩散模型(Ho et al., 2020;Song et al., 2021),在空间上以 V-JEPA 2.1 特征为条件,对 Cosmos tokenizer(NVIDIA, 2025)¹ 的连续视频 token 去噪。此处使用生成模型的目的是:解码器不仅把 V-JEPA 特征转换为 Cosmos token,还想象未见运动。在解码器训练期间,我们以跳帧 4 帧计算 V-JEPA 特征,而 Cosmos token 对相同帧无跳帧压缩。结果是 Cosmos token 比原始 V-JEPA 特征帧含有更多信息,而这额外信息------精确地说,是 V-JEPA 编码器编码的连续帧之间的 3 帧 RGB------必须被生成。有了这样的解码器,我们能以例如 5 Hz 动作运行世界模型前向预测、以相同速率产生潜特征,再用解码器将其扩展为覆盖完全相同运动的 20 FPS RGB 流。完整架构、训练与采样细节见附录 D。

¹ Cosmos-CV4x8x8。

【分析·解码器角色】

扩散解码器不进入规划环与缩放律拟合:它只服务可视化。规划与 L(C) 始终在冻结编码器潜空间的 \\ell_1 上定义------这避免了「像素重建质量」与「可规划动力学」混淆。

图 7:**世界模型尺度律。**分布外前向预测L1针对参数量从 2200 万到 80 亿的 RoboJEPA 模型(彩色),在真实机器人 DROID 测试集和模拟 RoboCasa 场景上评估了误差与训练计算量的关系。计算最优边界(下包络线)遵循二阶幂律。L⁡(C)=E+一个​Cα−γ​ln⁡C(虚线)。

相关推荐
硅谷秋水16 小时前
AgenticRoboRL:将“编程智能体”后训练引入智能体化机器人领域
人工智能·机器学习·语言模型·机器人
敢敢のwings17 小时前
SimpleMemVLA 深度解读:把原生视频上下文变成机器人的记忆
数码相机·机器人·音视频
杜子不疼.19 小时前
没有真机,我给启元 Q1 造了一台“假机器人“:官方 SDK 示例跑通实录
人工智能·机器人
todoitbo20 小时前
启元机器人 Q1 SDK 接口实操:构建 aimdk_msgs 并用 ROS 2 本地 Mock 验证 Service 与 Topic
ai·机器人·二次开发·sdk·启元
lisw0521 小时前
智能化机器人系统的模块化设计自动化!
机器学习·机器人·自动化
敢敢のwings1 天前
TACDYN-WAM 深度解读:机器人如何预测接触变化,并据此生成动作
人工智能·机器学习·机器人
敢敢のwings1 天前
Super Odometry 2.0:相机与激光雷达退化后,机器人如何继续估计运动
人工智能·数码相机·机器人
QY_Research_1 天前
2026房地产NFT平台创业机遇与落地指南分析报告
大数据·人工智能·物联网·机器人·制造
蓝悦无人机2 天前
《概率机器人》读书笔记-第六章-机器人感知模型:波束、似然场与地标
机器人·slam·测距仪·观测模型·波束模型·似然场模型·地标模型