Genesis:用于机器人及其他领域的生成式通用物理引擎

Genesis 是一个综合物理模拟平台,由清华、北京大学、哈佛、英伟达等众多顶尖机构合力研发,专为通用机器人、具身人工智能和物理人工智能应用而设计。它同时具有多种功能:

  • 从头开始重新构建的通用物理引擎,能够模拟各种材料和物理现象。
  • 一个轻量级超快Python 风格用户友好的机器人模拟平台。
  • 强大而快速的照片级真实感渲染系统。
  • 将用户提示的自然语言描述转换为各种数据模式的生成数据引擎

Genesis 由重新设计和重新构建的通用物理引擎提供支持,将各种物理解算器及其耦合集成到一个统一框架中。此核心物理引擎通过在更高级别运行的生成代理框架得到进一步增强,旨在为机器人技术及其他领域实现全自动数据生成。我们的生成框架旨在自动生成数据,包括以下模式:

  • 物理准确且空间一致的视频
  • 相机运动和参数
  • 人类和动物角色动作
  • 机器人操控和运动策略,可部署到现实世界
  • 完全交互式的 3D 场景
  • 开放世界铰接式物体生成
  • 语音音频、面部动画和情感

目前,Genesis正在开源底层物理引擎和模拟平台。在不久的将来,将逐步推出对生成框架的访问。

优化性能

Genesis 是一款高度优化的物理引擎,利用 GPU 加速的并行计算,具有优化碰撞检查、自动休眠、接触岛等功能。Genesis 在各种场景中提供前所未有的模拟速度。

在模拟操控场景(使用单个飞机和 Franka 手臂)时,Genesis 的运行速度达到 4300 万 FPS,比实时速度快 43 万倍。

在大规模模拟中,Genesis 利用自动休眠功能来加速处于收敛和静态状态的实体的模拟。(该功能正在测试中,将在 0.1.1 版本中发布)。

Genesis物理引擎的机器人模拟器进行速度对比

生成 4D 动态和物理世界

Genesis 的物理引擎由基于 VLM 的生成代理提供支持,该代理使用模拟基础架构提供的 API 作为工具来创建 4D 动态世界,然后可将其用作提取各种数据模态的基础数据源。结合用于生成摄像头和物体运动的模块,我们能够生成物理准确且视图一致的视频和其他数据模态。

physical

主要

与之前的仿真平台相比,我们这里重点介绍了 Genesis 的几个主要特点:

  • 🐍 100% Python,前端界面和后端物理引擎均用 Python 原生开发。

  • 👶轻松安装极其简单用户友好的API 设计。

  • 🚀前所未有的速度 并行模拟 :Genesis 是世界上最快的物理引擎 ,其模拟速度比现有的GPU 加速机器人模拟器(Isaac Gym/Sim/Lab、Mujoco MJX 等)快 10 到 80 倍 (是的,这有点科幻),同时不影响模拟准确性和保真度。

  • 💥 一个支持各种最先进的物理求解器的统一框架,可以对 大量材料和物理现象进行建模。

  • 📸 具有优化性能的照片级逼真的光线追踪渲染。

  • 📐可微分性:Genesis 的设计完全兼容可微分模拟。目前,我们的 MPM 求解器和工具求解器是可微分的,其他求解器的可微分性将很快添加(从刚体模拟开始)。

  • ☝🏻 物理上精确且可区分的触觉传感器

  • 🌌 对生成模拟 的原生支持,允许语言提示 各种模态的数据生成:交互式场景任务提案奖励资产角色动作策略轨迹相机运动(物理精确的)视频等。

相关推荐
找方案14 分钟前
黑龙江省地标-DB31/T 862-2021 “一网通办”政务服务中心建设和运行规范
大数据·人工智能·政务
windyrain1 小时前
AI 学习之路(一)- 重新认识 AI
人工智能·机器学习·aigc
北京青翼科技2 小时前
【PCIE737】基于全高PCIe x8总线的KU115 FPGA高性能硬件加速卡
图像处理·人工智能·信号处理·智能硬件
桥Dopey2 小时前
MAC 本地搭建部署 dify(含 github访问超时+Docker镜像源拉取超时解决方案)
人工智能·docker·github·ai编程
摩尔线程2 小时前
SEKI —— 基于大型语言模型的自进化与知识启发式神经架构搜索
人工智能·语言模型·架构
Luis Li 的猫猫2 小时前
机器学习:特征提取
人工智能·目标检测·机器学习·视觉检测
python算法(魔法师版)2 小时前
自动驾驶FSD技术的核心算法与软件实现
人工智能·深度学习·神经网络·算法·机器学习·自动驾驶
段传涛2 小时前
AI Agent 在企业的实施策略及解决方案
人工智能
lczdyx2 小时前
Transformer 代码剖析6 - 位置编码 (pytorch实现)
人工智能·pytorch·python·深度学习·transformer
云天徽上3 小时前
【目标检测】目标检测中的数据增强终极指南:从原理到实战,用Python解锁模型性能提升密码(附YOLOv5实战代码)
人工智能·python·yolo·目标检测·机器学习·计算机视觉