Genesis:用于机器人及其他领域的生成式通用物理引擎

Genesis 是一个综合物理模拟平台,由清华、北京大学、哈佛、英伟达等众多顶尖机构合力研发,专为通用机器人、具身人工智能和物理人工智能应用而设计。它同时具有多种功能:

  • 从头开始重新构建的通用物理引擎,能够模拟各种材料和物理现象。
  • 一个轻量级超快Python 风格用户友好的机器人模拟平台。
  • 强大而快速的照片级真实感渲染系统。
  • 将用户提示的自然语言描述转换为各种数据模式的生成数据引擎

Genesis 由重新设计和重新构建的通用物理引擎提供支持,将各种物理解算器及其耦合集成到一个统一框架中。此核心物理引擎通过在更高级别运行的生成代理框架得到进一步增强,旨在为机器人技术及其他领域实现全自动数据生成。我们的生成框架旨在自动生成数据,包括以下模式:

  • 物理准确且空间一致的视频
  • 相机运动和参数
  • 人类和动物角色动作
  • 机器人操控和运动策略,可部署到现实世界
  • 完全交互式的 3D 场景
  • 开放世界铰接式物体生成
  • 语音音频、面部动画和情感

目前,Genesis正在开源底层物理引擎和模拟平台。在不久的将来,将逐步推出对生成框架的访问。

优化性能

Genesis 是一款高度优化的物理引擎,利用 GPU 加速的并行计算,具有优化碰撞检查、自动休眠、接触岛等功能。Genesis 在各种场景中提供前所未有的模拟速度。

在模拟操控场景(使用单个飞机和 Franka 手臂)时,Genesis 的运行速度达到 4300 万 FPS,比实时速度快 43 万倍。

在大规模模拟中,Genesis 利用自动休眠功能来加速处于收敛和静态状态的实体的模拟。(该功能正在测试中,将在 0.1.1 版本中发布)。

Genesis物理引擎的机器人模拟器进行速度对比

生成 4D 动态和物理世界

Genesis 的物理引擎由基于 VLM 的生成代理提供支持,该代理使用模拟基础架构提供的 API 作为工具来创建 4D 动态世界,然后可将其用作提取各种数据模态的基础数据源。结合用于生成摄像头和物体运动的模块,我们能够生成物理准确且视图一致的视频和其他数据模态。

physical

主要

与之前的仿真平台相比,我们这里重点介绍了 Genesis 的几个主要特点:

  • 🐍 100% Python,前端界面和后端物理引擎均用 Python 原生开发。

  • 👶轻松安装极其简单用户友好的API 设计。

  • 🚀前所未有的速度 并行模拟 :Genesis 是世界上最快的物理引擎 ,其模拟速度比现有的GPU 加速机器人模拟器(Isaac Gym/Sim/Lab、Mujoco MJX 等)快 10 到 80 倍 (是的,这有点科幻),同时不影响模拟准确性和保真度。

  • 💥 一个支持各种最先进的物理求解器的统一框架,可以对 大量材料和物理现象进行建模。

  • 📸 具有优化性能的照片级逼真的光线追踪渲染。

  • 📐可微分性:Genesis 的设计完全兼容可微分模拟。目前,我们的 MPM 求解器和工具求解器是可微分的,其他求解器的可微分性将很快添加(从刚体模拟开始)。

  • ☝🏻 物理上精确且可区分的触觉传感器

  • 🌌 对生成模拟 的原生支持,允许语言提示 各种模态的数据生成:交互式场景任务提案奖励资产角色动作策略轨迹相机运动(物理精确的)视频等。

相关推荐
AI蜗牛车3 分钟前
【LLM+Code】Cursor Agent 46.11 版本Prompt&Tools最细致解读
人工智能·算法·语言模型
悲喜自渡72124 分钟前
Pytorch(无CPU搭建)+Jupyter
人工智能·pytorch·jupyter
ARM2NCWU37 分钟前
关联具体场景(如AI、智慧城市),强调部署效率
服务器·人工智能·智慧城市
塔能物联运维44 分钟前
解析塔能科技:绿色低碳智慧节能一站式破局之匙
大数据·人工智能·物联网
白熊1881 小时前
【计算机视觉】CV实战项目 -深度解析PaddleSegSharp:基于PaddleSeg的.NET图像分割解决方案
人工智能·计算机视觉·.net
落樱弥城1 小时前
图像处理——边缘检测
图像处理·人工智能·计算机视觉
IT古董1 小时前
【漫话机器学习系列】224.双曲正切激活函数(Hyperbolic Tangent Activation Function)
人工智能·机器学习
Allen Bright1 小时前
【机器学习-线性回归-3】深入浅出:简单线性回归的概念、原理与实现
人工智能·机器学习·线性回归
我不是小upper1 小时前
数据预处理之特征选择 (Feature Selection)
人工智能·深度学习·机器学习
没有不重的名么1 小时前
在Pytorch中使用Tensorboard可视化训练过程
人工智能·pytorch·python