论文：SkyJEPA: Learning Long-Horizon World Models for Zero-Shot Sim-to-Real Control of Quadrotors（arXiv:2606.23444）作者：Pratyaksh Rao · Wancong Zhang · Randall Balestriero · Yann LeCun · Giuseppe Loianno（UC Berkeley / NYU / Brown）
正文只展示关键公式，全部公式见附录：公式与符号速查
引子：一个反常的对比
2026 年 6 月，一篇作者名单里列着 Yann LeCun 与无人机控制学者 Giuseppe Loianno 的论文，把一个仅有 9K 参数的 JEPA 式 潜空间动力学模型装进了四旋翼 100Hz 的飞行控制回路。JEPA（联合嵌入预测架构）的核心主张是不重建观测、只在抽象表征空间预测未来， 打个比方：自回归像先画出下一帧画面再决定怎么动，JEPA 像不画出画面、只在脑子里推演下一步。它的开环 60 步预测位置误差是 1.43m ------对比自回归基线的 8.80m；姿态误差 4.71°------对比 53.4°。而在此之前，这架 1.3kg 的无人机从未被这个模型"见过"：训练数据全部来自 500 个域随机化仿真域的 20,000 条轨迹，实机部署零微调、零系统辨识。
这个反常对比正是全文的线索：为什么更小的模型反而在最难的指标（长程、递归、物理可解释）上碾压更大的模型？
论文先用四重要求框定问题：长程预测、物理可解释、实时闭环、零样本泛化（图 1）。这四个要求分别落在表征与解码结构、算力预算和数据管线上。本文的五个论点中，论点一先诊断自回归范式的结构性缺陷，论点二到五则分别回应这四重要求。
图 1｜四旋翼世界模型的四重要求。图源：论文 Fig. 1。
方法上的完整路线是：仿真数据合成 → JEPA 潜动力学 → 物理探针解码 → MPPI 采样控制（图 2）。四个环节分别对应论点四、论点二、论点三、论点五。
图 2｜方法总览：四阶段管线。图源：论文 Fig. 2。
论点一：自回归递归是结构性死局，正则救不了
模型每一步都被喂进被累计误差污染的状态。四旋翼对姿态误差高度敏感------姿态差一点，推力方向就偏一点------小误差被递归反复放大。物理启发正则、残差结构、在线微调只能改善局部精度，动不了这个递归机制本身。论文给物理正则基线的消融恰好证明这一点：正则只带来 19%（位置）/8%（姿态）的边际改善。
**小结：误差累积是结构问题，不是拟合问题。**任何仍在物理状态空间做自回归预测的模型，都在重复同一个错误。
论点二：潜空间让预测"想得远"
递归误差是否被几何抑制？用两个新指标检验。论文定义误差累积比 CR（k步开环误差 ÷ teacher-forced 误差，D_s为状态维度，式 28--29）与误差增长率 ER（式 30）。CR=2 意味着"蒙眼前滚"的误差是"每步偷看答案"的两倍，多出来的那一倍就是递归欠的债：
图 6｜CR 与 ER：预测基线在 k≈12 处穿过 CR=1、k=60 飙至 2.4；SkyJEPA 全程贴近 1（约 1.4）。图源：论文 Fig. 6。
为什么会出现这种差异？论文用时间直线化给出几何解释。对潜轨迹相邻速度求平均余弦相似度（1 为直线，负值为方向反转）：预测基线约 −0.4 ，重建式潜模型约 0.95，JEPA 约 0.75。"时间平滑"是潜空间学习的涌现性质------递归前滚像沿直线滑行，小误差不易把轨迹甩偏。
图 7｜时间直线化：示例轨迹、潜空间 PCA 投影与直线化分数分布。图源：论文 Fig. 7。
**小结：把递归从物理空间挪到表征空间，误差的增长律被改写。**换范式是第一步收益，物理正则无法替代。
论点三：物理骨架让预测"说人话"------全场最大的杠杆
再由可微分运动学积分（DKI） 传播状态（△t=0.05s为离散时间步长，式 16）：位置/速度显式欧拉，姿态走SO(3)指数映射，旋转矩阵永远留在流形上，不存在欧拉角积分的姿态漂移。探针用整条前滚监督（式 17）。
图 3｜两阶段训练：JEPA 潜动力学（左），冻结表征上训练物理探针（右）。图源：论文 Fig. 3。
证据：消融表 III 是全文最有信息量的表格。换探针带来的 4--8.5 倍精度跃升，远大于换学习范式的 1.2--1.3 倍：
| 方法 | 位置 RMSE m ↓ | 姿态误差 ° ↓ | 位置相对基线 |
|---|---|---|---|
| Predictive（自回归基线） | 8.80 | 53.4 | 1.0× |
| Predictive + Physics Reg. | 7.12 | 49.1 | 1.24× |
| Reconstruction + Prober | 6.82 | 45.2 | 1.29× |
| Reconstruction + PI Prober | 1.53 | 5.28 | 5.75× |
| Ours + Prober（JEPA + 普通探针） | 5.56 | 40.20 | 1.58× |
| Ours + PI Prober（完整方法） | 1.43 | 4.71 | 6.15× |
表 III｜开环 60 步预测消融。三组对照分别隔离：学习范式、预测目标、解码结构。
三组对比三个结论：(1) 潜空间胜过自回归------两个潜模型即便用普通探针也已反超；(2) JEPA 胜过重建------只要求"可预测"的表征更聚焦动力学因果链（5.56/6.82m）；(3) 物理探针是最大杠杆------给重建模型换 PI Prober 也有 4.5×/8.6× 提升，方差同步缩水一个数量级。机理：归纳偏置兑换样本复杂度------积分骨架零参数、永不过拟合，网络只需拟合名义模型与真值之间的残差（阻力、电机延迟），问题的有效维度被砍掉大半。
图 8｜开环前滚保真度：位置/速度/姿态 RMSE 随前滚长度的变化。图源：论文 Fig. 8。
姿态误差用SO(3)相对旋转的轴角度量（式 31--34），对输入历史叠加高斯噪声的鲁棒性测试显示：零噪声时本方法中位状态 RMSE 已低约 55%，最高噪声级仍有约 10% 改善------潜表征 + 物理积分对感知扰动是"低通"的（图 9）。
图 9｜观测噪声鲁棒性：不同噪声水平下的姿态 RMSE。图源：论文 Fig. 9。
小结：结构先验的价值不在正则化，而在把学习问题的有效维度砍掉一个数量级。
论点四：数据不是采集来的，是被设计出来的
剂量-反应关系清晰：1k 样本 TDQ≈0.01、RMSE≈5.4；100k → 0.25/1.9；1.5M → 0.94/1.4，后段饱和------数据已铺满动力学流形，瓶颈转移到模型容量。TDQ 可复用于任何"仿真数据该采多少、怎么采"的问题。
图 12｜数据规模消融：TDQ 与预测误差的剂量-反应曲线。图源：论文 Fig. 12。
**小结："零样本"的前提是数据管线先把真实世界分布的近似吃进去。**域随机化范围的选取是先验注入------仿真与真实分布的对齐质量，决定了"零样本"能覆盖多大的平台漂移。
论点五：从预测到操纵杆，只差一个"宽容"的优化器
图 5｜Jetson Orin NX 端到端推理时间随前滚长度 U 与采样数 S 的增长，贴近 100Hz（10ms）实时预算线。图源：论文 Fig. 5。
最硬核的检验：零样本实飞。平台是 1.3kg、推重比 4:1 的四旋翼，机载 Jetson Orin NX + Pixracer Pro（PX4/ROS2），GPS 状态估计（图 4）；场景包括名义跟踪、载荷变化与换桨（图 4 的三种设置）。
图 4｜实机评估平台与三种场景：名义跟踪、载荷运输、换桨。图源：论文 Fig. 4。
控制器用到的动力学模型从未见过真实数据，直接放入室外 60×70m GPS 空域闭环飞行，五条轨迹覆盖 2.45--7.20m/s 与 1.4--12.5m/s²：
| 轨迹 | m/s | Ours 位置 RMSE m | MPPI (Pred.+Phy.) | MPPI (Pred.) | Ours 姿态 ° | MPPI (Pred.) |
|---|---|---|---|---|---|---|
| Circle | 2.45 | 0.24 | 0.36 | 0.39 | 7.87 | 11.95 |
| Oval | 4.50 | 0.33 | 0.44 | 0.48 | 9.11 | 16.53 |
| Figure-8 | 5.20 | 0.35 | 0.47 | 0.51 | 9.25 | 20.20 |
| Fish | 5.70 | 0.40 | 0.54 | 0.59 | 10.78 | 22.78 |
| Lemniscate | 7.20 | 0.45 | 0.56 | 0.61 | 19.43 | 29.16 |
表 IV｜实机零样本轨迹跟踪（各 5 次均值；完整数据见论文或下方图片）。位置改善 26--38%，姿态改善 33--54%。
优势随轨迹变快不缩水；方差同步大幅下降------飞得准，也飞得稳。但批判性阅读：双纽线上本方法绝对姿态误差仍有 19.43°，在 12.5m/s² 机动下可理解为姿态带宽与执行器动态的代价，论文未给机理分析；位置与姿态误差同轨迹最大化及其非单调关系，应视为开放问题而非已解之谜。
图 10｜实机零样本轨迹跟踪：执行轨迹叠加参考，颜色为跟踪误差。图源：论文 Fig. 10。
更苛刻的检验：平台变化零重训练。换桨与挂载 300g 载荷（刻意不在数据采集覆盖内）：位置误差约 1.2--1.35× 优于基线，姿态约 1.4×。潜动力学学到的是一族系统的紧凑演化规律，而非某个标称平台的记忆，退化更"优雅"。
图 11｜平台变化下的实机跟踪：载荷运输（左）与换桨（右），不重新训练。图源：论文 Fig. 11。
小结：MPPI 的采样-加权机制天然吸收模型误差，是把"想得远且说人话"的预测变成操纵杆的正确接口。
外部审视：两个未被论文回答的问题
论文留下两个未回答的问题。其一是功劳归属 ：MPPI 的 softmax 加权是对模型误差的蒙特卡洛平滑，与要求精确雅可比的梯度 MPC 有根本差异，表 III--V 的领先究竟多少来自潜模型本身、多少来自 MPPI 对误差的吸收？固定潜模型、分别接入两种控制器即可裁决，论文未做。其二是探针的定位 ：式 (14)--(16) 保证的不是残差更小，而是传播的几何正确性 ：姿态永在流形上，小姿态误差不会被扭成全局漂移（自回归基线姿态爆炸 53.4° 的可能来源）。反事实------给自回归基线换上同样的 SO(3) 骨架，差距还剩多少------同样未做。但不能因此否定探针：关键在于表征负担 ------探针结构下潜编码器只需表征残余气动状态，端到端残差动力学则要求编码器承载完整状态转移的全部因果变量。流形约束积分器的真正作用，是向上游重塑了表征学习的目标。这仍是机理假设，裁决需要"自回归 + SO(3) 骨架"对照组。
结语
SkyJEPA 的价值不在任何一个部件，而在四个接口都设计对了 ------潜空间预测让递归稳定，探针让预测可读，MPPI 对误差宽容，域随机化让分布覆盖可预期。这些接口也是系统最经不起替换的地方：换成梯度 MPC，就要重测优化器对模型误差的吸收能力；迁到固定翼或欠驱动机械臂，探针的几何骨架要重新设计；接入视觉输入，编码器所依赖的全状态输入假设不再直接成立，需要从视觉估计状态或改为视觉条件化。论文没做这些替换实验，所以本文能论证的只是这套组合在四旋翼上成立，而不是每个部件都不可替代------"外部审视"里的两个未解问题，本质上都是替换实验缺失的问题。
对做机器人学习的人，能带走的是三条工程判断：递归预测应当放在抽象表征空间，让它试图预测的对象留在物理空间；解码器里能写成积分的部分，就不必交给网络；数据管线的覆盖度值得一个像 TDQ 这样可优化的标量。至于"世界模型"这个更大的命题，这篇论文给出的只是一个平台的证据，而且恰好是那种动力学结构规整、全状态可以直接测得的平台，不是最一般的证据。它把门打开了，但门后还有很长的走廊。
附录：公式与符号速查
如有偏差，以论文最新为准
