从虚拟到现实！Aether：上海AI Lab开源的生成式世界模型，4D动态重建+视觉规划全搞定

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦

🚀 "从虚拟到现实！上海AI Lab开源世界模型Aether，零样本搞定4D重建+智能规划"

大家好，我是蚝油菜花。当其他AI还在学习真实世界数据时，这个国产框架已经用合成数据训练出「空间推理大师」！

你是否经历过这些技术瓶颈------

🏗️ 想重建动态场景，结果模型把移动物体识别成多个静态碎片
🎥 预测视频下一帧时，AI生成的画面物理规律崩坏
🗺️ 让机器人自主规划路径，它却在简单障碍前反复卡死...

今天要拆解的 Aether ，正在重新定义空间智能！这个由上海AI Lab打造的世界模型：

✅ 虚拟数据炼金术：完全用合成数据训练，却能零样本适应真实场景
✅ 时空全息建模：同时捕捉三维空间+时间维度变化，重建动态世界
✅ 多任务统一体：4D重建/视频预测/路径规划，一个模型全搞定

已有团队用它开发自动驾驶感知系统，接下来将揭秘这套「几何感知」框架的技术内核！

Aether 是什么

Aether 是上海AI Lab开源的生成式世界模型，完全基于合成数据训练。Aether 首次将三维时空建模与生成式建模深度融合，具备 4D 动态重建、动作条件视频预测和目标导向视觉规划三大核心能力。

Aether 能感知环境、理解物体位置和运动关系，做出智能决策。Aether 在真实世界中展现出强大的零样本泛化能力，使用虚拟数据训练完成高效完成复杂任务，为具身智能系统提供强大的空间推理和决策支持。

Aether 的主要功能

4D 动态重建：从视频中重建包含时间和空间的三维场景模型，捕捉动态变化。
动作条件视频预测：根据初始观察和动作轨迹预测未来场景的变化。
目标导向视觉规划：根据起始和目标场景生成合理路径，辅助智能系统规划行动路线。

Aether 的技术原理

统一多任务框架：将动态重建、视频预测和动作规划三项任务融合在一个统一的框架中进行优化。基于任务交错的特征学习，实现不同任务之间的协同优化，提升模型的稳定性和鲁棒性。
几何感知建模：引入三维时空建模，构建几何空间提升模型的空间推理能力。用海量仿真 RGBD 数据（彩色图像和深度图），开发一套完整的数据清洗与动态重建流程，标注丰富的动作序列。
相机轨迹作为动作表征：选择相机轨迹作为全局动作的表示方式。在导航任务中，相机轨迹直接对应导航路径；在机器人操作中，手柄相机的运动可以捕捉末端执行器的 6D 运动。
扩散模型与多模态融合：基于预训练的视频扩散模型，用合成 4D 数据进行后训练。将深度视频转换为尺度不变的归一化视差表示，将相机轨迹编码为与扩散变换器（DiTs）时空框架对齐的尺度不变射线图序列表示。基于动态整合跨任务和跨模态的条件信号，Aether 实现多模态信息的融合和协同优化。
零样本泛化能力：完全在虚拟数据上训练，实现对真实世界的零样本泛化。基于组合不同的条件输入（如观察帧、目标帧和动作轨迹），结合扩散过程，实现对多种任务的统一建模与生成。让模型在没有真实世界数据的情况下，迁移到真实场景中表现出色。

如何运行 Aether

安装

bash 复制代码

# clone project
git clone https://github.com/OpenRobotLab/Aether.git
cd Aether

# create conda environment
conda create -n aether python=3.10
conda activate aether

# install dependencies
pip install -r requirements.txt

推理

本地运行推理demo

4D重建:

bash 复制代码

python scripts/demo.py --task reconstruction --video ./assets/example_videos/moviegen.mp4

动作条件视频预测:

bash 复制代码

python scripts/demo.py --task prediction --image ./assets/example_obs/car.png --raymap_action assets/example_raymaps/raymap_forward_right.npy

目标导向视觉规划:

bash 复制代码

python scripts/demo.py --task planning --image ./assets/example_obs_goal/01_obs.png --goal ./assets/example_obs_goal/01_goal.png

结果默认保存在./outputs/目录下。

运行Gradio交互式demo

bash 复制代码

python scripts/demo_gradio.py

资源

项目主页 ：aether-world.github.io/
GitHub 仓库 ：github.com/OpenRobotLa...
HuggingFace 模型库 ：huggingface.co/AetherWorld...
在线演示 Demo ：huggingface.co/spaces/Ambe...

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦