【世界模型】AEON：统一视频与 3D 世界模型

图 1：AEON 可生成支持在不同时间步和视角下进行实时渲染的 4DGS 世界。这些 4DGS 世界也支持显式编辑与模拟（底部）

目录

• 一、核心架构与组件
• 二、关键数学公式解析
• • [1. 单个4DGS 基元参数定义](#1. 单个4DGS 基元参数定义)
  • [2. 域适配器特征融合 (Eq. 2)](#2. 域适配器特征融合 (Eq. 2))
  • [3. 阶段一：重建模型训练损失 (Eq. 3-6)](#3. 阶段一：重建模型训练损失 (Eq. 3-6))
  • [4. 阶段二：生成式蒸馏损失 (Eq. 7)](#4. 阶段二：生成式蒸馏损失 (Eq. 7))
  • [5. 4DGS 随时间的演化计算 (Eq. 8-10)](#5. 4DGS 随时间的演化计算 (Eq. 8-10))
• 三、实验
• • [4D 生成](#4D 生成)
  • 视频到4D重建：
  • 新轨迹渲染
• 其他细节
• • 局限性
  • [AEON 打破单目限制，训练出具有 3D 一致性的动态场景的四个核心机制：](#AEON 打破单目限制，训练出具有 3D 一致性的动态场景的四个核心机制：)

标题：AEON: Unifying Video and 3D World Models

来源：清华大学软件学院

链接：https: // weiqi-zhang. github. io/ AEON .

  AEON 生成式世界模型框架，旨在结合基于视频（如 Sora）和基于 3D（如 Marble）的世界模型的互补优势。AEON 在预训练的视频扩散模型（如 Wan 2.2）的生成潜在空间中运行，同时生成 4D 高斯溅射（4DGS）作为显式的世界表示基元。

一、核心架构与组件

   4DGS 世界表示：AEON 使用 4DGS 将场景表示为包含几何、外观 和时间演变属性的显式图形基元。这使得模型既能通过直接渲染模拟世界外观，又能建立一个持久的 4D 环境以支持高度可控的 3D 模拟。

   4D 高斯重建模型 (4DRM)：该模型通过前向传递，利用四个特定任务头 （深度头、相机头、高斯头和演化头）从单目视频中联合预测深度、相机位姿以及 4DGS 的外观和动态演化属性。

   域适配器 (Domain Adapter)：为了弥合视频潜在空间 （针对生成去噪优化）和 4DRM 潜在空间 （针对几何与语义理解优化）之间的域差距，AEON 引入了一个双路径域适配器。它包含一个提供稳定初始化的线性卷积分支，以及一个名为 Perceiver Bridge 的残差分支以捕捉复杂的非线性变换。

图 2：AEON 概览。顶部(1)。4D 重建模型（4DRM ）通过四个分别用于预测深度、高斯外观、动态演化及相机位姿的任务专用头，将单目视频解码为 4DGS 世界。生成的基元被光栅化为 RGB 图、深度图和法线图，以实现端到端监督。底部(2)。通过域适配器以及可学习的学生 4DRM，从冻结视频扩散模型（如 Wan 2.2）的世界生成能力以及教师 4DRM 的 4D 重建能力中蒸馏知识，从而训练 AEON 以进行生成式世界建模。

二、关键数学公式解析

  文章中通过多组公式严格定义了 4DGS 的属性、演化规律以及多阶段模型的训练目标。

1. 单个4DGS 基元参数定义

g i = { x i , s i , r i , o i , c i , t i , l i , v i , ω i } ( E q .1 ) g_{i}=\{x_{i},s_{i},r_{i},o_{i},c_{i},t_{i},l_{i},v_{i},\omega_{i}\} (Eq. 1) gi={xi,si,ri,oi,ci,ti,li,vi,ωi}(Eq.1)

• 空间与外观 ： x i x_{i} xi 为空间中心， s i s_{i} si 为各向异性缩放， r i r_{i} ri 为单位四元数方向， o i o_{i} oi 为基础不透明度， c i c_{i} ci 为颜色。
• 时间与动态 ： t i t_{i} ti 为峰值激活的参考时间步， l i l_{i} li 为可见持续时间， v i v_{i} vi 和 ω i \omega_{i} ωi 分别表示线速度和角速度。

2. 域适配器特征融合 (Eq. 2)

  适配器通过可学习的标量门控 γ \gamma γ（初始化为 0） 将线性分支 L \mathbb{L} L 和非线性残差分支 N \mathbb{N} N 结合 ： Z = L ( z v i d e o ) + γ ⋅ N ( z v i d e o ) Z=\mathbb{L}(z_{video})+\gamma\cdot\mathbb{N}(z_{video}) Z=L(zvideo)+γ⋅N(zvideo) 这种设计确保了优化过程从稳定的线性解开始，并逐步通过梯度下降合并非线性残差更新。

3. 阶段一：重建模型训练损失 (Eq. 3-6)

  第一阶段通过可微渲染对 4DRM 进行端到端训练，总损失 L s l = L a p p + L g e o + L d y n \mathcal{L}{sl}=\mathcal{L}{app}+\mathcal{L}{geo}+\mathcal{L}{dyn} Lsl=Lapp+Lgeo+Ldyn 包含以下三项：

• 外观保真度 ( L a p p \mathcal{L}_{app} Lapp)：结合了 L 2 L_2 L2 像素误差、LPIPS 感知损失和 SSIM 结构相似度，用于防止过度平滑并生成锐利逼真的纹理。
• 几何约束 ( L g e o \mathcal{L}{geo} Lgeo)：通过与真实深度 d t ∗ d{t}^{*} dt∗ 和法线 n t ∗ n_{t}^{*} nt∗ 的差异进行监督，将所有预测锚定在一致的世界尺度坐标系中。
• 动态解耦 ( L d y n \mathcal{L}{dyn} Ldyn)： L d y n = 1 M ∑ i = 1 M ( η 1 ∣ ∣ v i ∣ ∣ 1 + η 2 ∣ ∣ ω i ∣ ∣ 1 + η 3 l i − 1 ) \mathcal{L}{dyn}=\frac{1}{M}\sum_{i=1}^{M}(\eta_{1}\vert{}\vert{}v_{i}\vert{}\vert{}{1}+\eta{2}\vert{}\vert{}\omega_{i}\vert{}\vert{}{1}+\eta{3}l_{i}^{-1}) Ldyn=M1i=1∑M(η1∣∣vi∣∣1+η2∣∣ωi∣∣1+η3li−1)
  该项通过惩罚不必要的运动并偏好长寿命基元，确保短暂寿命和非平凡速度只分配给真正的动态元素。

4. 阶段二：生成式蒸馏损失 (Eq. 7)

  此阶段冻结预训练的 4DRM 作为教师模型，指导学生模型从视频潜在空间重建 4DGS ： L d i s t i l l = L 4 D G S + L g c o m + λ ( t ) L f e a t \mathcal{L}{distill}=\mathcal{L}{4DGS}+\mathcal{L}{gcom}+\lambda(t)\mathcal{L}{feat} Ldistill=L4DGS+Lgcom+λ(t)Lfeat

• L 4 D G S \mathcal{L}_{4DGS} L4DGS：强制学生模型与教师模型在基元级属性空间上对齐的加权 L1 损失。
• L g c o m \mathcal{L}_{gcom} Lgcom：密集的几何对齐损失，包含对数深度回归、多尺度深度梯度和相机参数惩罚。
• L f e a t \mathcal{L}_{feat} Lfeat：特征对齐损失，其权重 λ ( t ) \lambda(t) λ(t) 遵循余弦衰减，在训练初期提供强正则化以防止适配器发生灾难性漂移。

5. 4DGS 随时间的演化计算 (Eq. 8-10)

  动态场景中，基元的状态会随时间 t t t 发生改变：

   时间不透明度演化 ：不透明度由以参考时间 t i t_{i} ti 为中心的高斯核调制，生成平滑的淡入淡出过渡，从而自然适应火焰或物体进入等瞬态现象。

o i ( t ) = o i ⋅ e x p ( − ( t − t i ) 2 2 σ i 2 ) o_{i}(t)=o_{i}\cdot exp(-\frac{(t-t_{i})^{2}}{2\sigma_{i}^{2}}) oi(t)=oi⋅exp(−2σi2(t−ti)2)

   速度驱动的空间演化 ：基元的位置和方向基于匀速运动模型更新，而缩放比例保持不变。

x i ( t ) = x i + v i ⋅ ( t − t i ) x_{i}(t)=x_{i}+v_{i}\cdot(t-t_{i}) xi(t)=xi+vi⋅(t−ti) r i ( t ) = r i ⊗ A x i s A n g l e 2 Q u a t ( ω i ⋅ ( t − t i ) ) r_{i}(t)=r_{i}\otimes AxisAngle2Quat(\omega_{i}\cdot(t-t_{i})) ri(t)=ri⊗AxisAngle2Quat(ωi⋅(t−ti))

  

三、实验

4D 生成

  将 AEON 与 4DNex 7 和 Lyra 3 进行了对比评估。与采用逐帧点云的 4DNex 以及采用逐帧 3DGS 的 Lyra 不同，AEON 会预测一种统一的 4DGS 表示，用于实时探索 。我们在 30 个场景上进行了评估，每个场景均由一组图像-文本提示定义。基于相同的图像-文本提示，沿共享相机轨迹渲染出的评估视频，通过 VBench 13 的指标进行评估： I2V 主体一致性、主体一致性、运动平滑度以及美学质量。如表 2 所示，AEON 的性能优于所有基线方法。虽然逐帧重建缺乏跨帧连贯性，但 AEON 通过具有显式速度和持续时间的持久 4D 高斯函数来建模场景，从而自然确保时间一致性。此外，AEON 无需对架构进行任何修改即可在不同骨干网络（Wan 2.1 和 Wan 2.2）之间泛化，并始终取得强劲的结果。

视频到4D重建：

  在Dycheck 9 和 DaVis 30 上评估了 AEON 的 4D 重建性能，与 SOTA 基线方法 L4GM 31、4DGT 48、MoVies 22、NeoVerse 50 和 StreamSplat 46 进行比较。与依赖外部姿态（来自 GT 或 π 3 42）的 4DGT 和 MoVies 不同，AEON 的集成相机头可以从单目 RGB 中联合预测相机参数和 4DGS 属性。StreamSplat 还需要来自 Depth Anything V2 49 的单目深度信息，而 AEON 则不需要。对于 Dycheck 的新视角合成，我们通过将输入视频编码到 VAE 潜在空间，并通过领域适配器和学生重建模型解码，来评估我们的视频到 4DGS 流程。

表3所示，AEON在两个基准测试中均实现了卓越的 PSNR 、 SSIM 和 LPIPS 性能。推理时既不需要相机位姿也不需要深度信息，且仅在第一阶段使用标注视频，因此后续训练阶段可以扩展到原始视频。图3中的定性比较进一步证实了这些定量趋势。

新轨迹渲染

  收集了 30 段训练期间未见过场景的野外视频，并沿多条新相机轨迹对每个场景进行渲染。 TrajectoryCrafter 54、RecamMaster 4 和 NeoVerse 50 进行对比，并在表 4 中报告了六个 VBench 13 指标。AEON 在六个指标中的四个指标上取得了最佳成绩，同时在另外两个指标上也保持竞争力。由于从 4DGS 渲染新轨迹属于几何精确的栅格化，而非基于学习的幻觉生成，AEON 自然能在视角变化时保持较强的一致性和视觉质量。

  

其他细节

局限性

论文在第 5 节的局限性（Limitations）中明确承认了这一点："生成视频中从未观察到的区域无法恢复，因此非常大的视角变化可能会暴露出空洞（holes），这需要一个生成式补全（inpainting/completion）模块来填充"。

AEON 打破单目限制，训练出具有 3D 一致性的动态场景的四个核心机制：

1. 跨帧稀疏采样与全序列渲染监督（以时间换空间）

AEON 在第一阶段训练时采用了 "稀疏输入，密集监督" 的策略：只抽取其中的 K K K 帧（ K < T K < T K<T）作为输入，预测出一套统一的 4D 高斯基元集合，再通过可微光栅化器渲染回全部的 T T T 帧，并与全部 T T T 帧的 Ground Truth 计算光度损失（ L a p p \mathcal{L}_{app} Lapp）。这就强制推断出第 t 1 t_1 t1 帧看到的物体表面，是如何通过三维空间中的平移（ v i v_i vi）和旋转（ ω i \omega_i ωi）运动到未见过的第 t 2 t_2 t2 帧的位置上的。

2. 动态解耦正则化（防止退化为逐帧点云）

单目视频没有同一时刻的多视角约束，网络极易陷入一种退化解（degenerate solution）：给每个高斯基元分配极短的寿命（ l i → 0 l_i \to 0 li→0），让第一帧的高斯球瞬间消失，第二帧原地生成一批新的高斯球。

动态解耦损失（ L d y n \mathcal{L}_{dyn} Ldyn，公式 5）：会惩罚短寿命（ l i − 1 l_i^{-1} li−1）以及惩罚多余运动（ ∣ ∣ v i ∣ ∣ 1 , ∣ ∣ ω i ∣ ∣ 1 \vert{}\vert{}v_i\vert{}\vert{}_1, \vert{}\vert{}\omega_i\vert{}\vert{}_1 ∣∣vi∣∣1,∣∣ωi∣∣1）

3. 合成数据集的"上帝视角"三维真值监督（Metric 3D Grounding）

AEON 在第一阶段（Stage 1）使用了非常强的三维几何真值监督：使用了 6 个包含精准三维标注的数据集（大部分是高质量合成数据集，如 PointOdyssey, TartanAir, Dynamic Replica, SAIL-VOS 3D, Spring, OmniWorld-Game）。这些数据集提供了绝对准确的真实相机位姿（GT Pose）、真实度量深度（GT Metric Depth）和表面法线（GT Normal）。

4. 两阶段知识蒸馏：把 3D 重建能力"嫁接"给视频生成模型

搞定了 Stage 1，4DRM 就学会了"给定一段视频，即使没有多视角，我也能靠几何先验和跨帧运动把它排布成合理的 4DGS"。 Stage 2（生成式蒸馏）中，AEON 的"左右互搏"：一方面把海量的无标注真实视频（Panda-70M）喂给冻结的 Teacher 4DRM，预测对应的 4DGS 属性、深度和相机参数，作为"伪真值"；另一方面把同一个视频编码成VAE潜变量 z v i d e o z_{video} zvideo，喂给 Domain Adapter + Student 4DRM，强迫仅凭 z v i d e o z_{video} zvideo 还原出和 Teacher 一模一样的 4DGS 属性（ L 4 D G S \mathcal{L}{4DGS} L4DGS）和深度几何（ L g c o m \mathcal{L}{gcom} Lgcom）。