从虚拟到现实!Aether:上海AI Lab开源的生成式世界模型,4D动态重建+视觉规划全搞定

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 🥦


🚀 "从虚拟到现实!上海AI Lab开源世界模型Aether,零样本搞定4D重建+智能规划"

大家好,我是蚝油菜花。当其他AI还在学习真实世界数据时,这个国产框架已经用合成数据训练出「空间推理大师」!

你是否经历过这些技术瓶颈------

  • 🏗️ 想重建动态场景,结果模型把移动物体识别成多个静态碎片
  • 🎥 预测视频下一帧时,AI生成的画面物理规律崩坏
  • 🗺️ 让机器人自主规划路径,它却在简单障碍前反复卡死...

今天要拆解的 Aether ,正在重新定义空间智能!这个由上海AI Lab打造的世界模型:

  • 虚拟数据炼金术:完全用合成数据训练,却能零样本适应真实场景
  • 时空全息建模:同时捕捉三维空间+时间维度变化,重建动态世界
  • 多任务统一体:4D重建/视频预测/路径规划,一个模型全搞定

已有团队用它开发自动驾驶感知系统,接下来将揭秘这套「几何感知」框架的技术内核!

Aether 是什么

Aether 是上海AI Lab开源的生成式世界模型,完全基于合成数据训练。Aether 首次将三维时空建模与生成式建模深度融合,具备 4D 动态重建、动作条件视频预测和目标导向视觉规划三大核心能力。

Aether 能感知环境、理解物体位置和运动关系,做出智能决策。Aether 在真实世界中展现出强大的零样本泛化能力,使用虚拟数据训练完成高效完成复杂任务,为具身智能系统提供强大的空间推理和决策支持。

Aether 的主要功能

  • 4D 动态重建:从视频中重建包含时间和空间的三维场景模型,捕捉动态变化。
  • 动作条件视频预测:根据初始观察和动作轨迹预测未来场景的变化。
  • 目标导向视觉规划:根据起始和目标场景生成合理路径,辅助智能系统规划行动路线。

Aether 的技术原理

  • 统一多任务框架:将动态重建、视频预测和动作规划三项任务融合在一个统一的框架中进行优化。基于任务交错的特征学习,实现不同任务之间的协同优化,提升模型的稳定性和鲁棒性。
  • 几何感知建模:引入三维时空建模,构建几何空间提升模型的空间推理能力。用海量仿真 RGBD 数据(彩色图像和深度图),开发一套完整的数据清洗与动态重建流程,标注丰富的动作序列。
  • 相机轨迹作为动作表征:选择相机轨迹作为全局动作的表示方式。在导航任务中,相机轨迹直接对应导航路径;在机器人操作中,手柄相机的运动可以捕捉末端执行器的 6D 运动。
  • 扩散模型与多模态融合:基于预训练的视频扩散模型,用合成 4D 数据进行后训练。将深度视频转换为尺度不变的归一化视差表示,将相机轨迹编码为与扩散变换器(DiTs)时空框架对齐的尺度不变射线图序列表示。基于动态整合跨任务和跨模态的条件信号,Aether 实现多模态信息的融合和协同优化。
  • 零样本泛化能力:完全在虚拟数据上训练,实现对真实世界的零样本泛化。基于组合不同的条件输入(如观察帧、目标帧和动作轨迹),结合扩散过程,实现对多种任务的统一建模与生成。让模型在没有真实世界数据的情况下,迁移到真实场景中表现出色。

如何运行 Aether

安装

bash 复制代码
# clone project
git clone https://github.com/OpenRobotLab/Aether.git
cd Aether

# create conda environment
conda create -n aether python=3.10
conda activate aether

# install dependencies
pip install -r requirements.txt

推理

本地运行推理demo

  • 4D重建:
bash 复制代码
python scripts/demo.py --task reconstruction --video ./assets/example_videos/moviegen.mp4
  • 动作条件视频预测:
bash 复制代码
python scripts/demo.py --task prediction --image ./assets/example_obs/car.png --raymap_action assets/example_raymaps/raymap_forward_right.npy
  • 目标导向视觉规划:
bash 复制代码
python scripts/demo.py --task planning --image ./assets/example_obs_goal/01_obs.png --goal ./assets/example_obs_goal/01_goal.png

结果默认保存在./outputs/目录下。

运行Gradio交互式demo

bash 复制代码
python scripts/demo_gradio.py

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 🥦

相关推荐
九年义务漏网鲨鱼1 小时前
【大模型学习 | MINIGPT-4原理】
人工智能·深度学习·学习·语言模型·多模态
元宇宙时间2 小时前
Playfun即将开启大型Web3线上活动,打造沉浸式GameFi体验生态
人工智能·去中心化·区块链
开发者工具分享2 小时前
文本音频违规识别工具排行榜(12选)
人工智能·音视频
xiaolang_8616_wjl2 小时前
c++文字游戏_闯关打怪2.0(开源)
开发语言·c++·开源
产品经理独孤虾2 小时前
人工智能大模型如何助力电商产品经理打造高效的商品工业属性画像
人工智能·机器学习·ai·大模型·产品经理·商品画像·商品工业属性
老任与码2 小时前
Spring AI Alibaba(1)——基本使用
java·人工智能·后端·springaialibaba
蹦蹦跳跳真可爱5892 小时前
Python----OpenCV(图像増强——高通滤波(索贝尔算子、沙尔算子、拉普拉斯算子),图像浮雕与特效处理)
人工智能·python·opencv·计算机视觉
雷羿 LexChien3 小时前
从 Prompt 管理到人格稳定:探索 Cursor AI 编辑器如何赋能 Prompt 工程与人格风格设计(上)
人工智能·python·llm·编辑器·prompt
NocoBase3 小时前
NocoBase 商业授权激活指南
低代码·开源·资讯