Genesis:用于机器人及其他领域的生成式通用物理引擎

Genesis 是一个综合物理模拟平台,由清华、北京大学、哈佛、英伟达等众多顶尖机构合力研发,专为通用机器人、具身人工智能和物理人工智能应用而设计。它同时具有多种功能:

  • 从头开始重新构建的通用物理引擎,能够模拟各种材料和物理现象。
  • 一个轻量级超快Python 风格用户友好的机器人模拟平台。
  • 强大而快速的照片级真实感渲染系统。
  • 将用户提示的自然语言描述转换为各种数据模式的生成数据引擎

Genesis 由重新设计和重新构建的通用物理引擎提供支持,将各种物理解算器及其耦合集成到一个统一框架中。此核心物理引擎通过在更高级别运行的生成代理框架得到进一步增强,旨在为机器人技术及其他领域实现全自动数据生成。我们的生成框架旨在自动生成数据,包括以下模式:

  • 物理准确且空间一致的视频
  • 相机运动和参数
  • 人类和动物角色动作
  • 机器人操控和运动策略,可部署到现实世界
  • 完全交互式的 3D 场景
  • 开放世界铰接式物体生成
  • 语音音频、面部动画和情感

目前,Genesis正在开源底层物理引擎和模拟平台。在不久的将来,将逐步推出对生成框架的访问。

优化性能

Genesis 是一款高度优化的物理引擎,利用 GPU 加速的并行计算,具有优化碰撞检查、自动休眠、接触岛等功能。Genesis 在各种场景中提供前所未有的模拟速度。

在模拟操控场景(使用单个飞机和 Franka 手臂)时,Genesis 的运行速度达到 4300 万 FPS,比实时速度快 43 万倍。

在大规模模拟中,Genesis 利用自动休眠功能来加速处于收敛和静态状态的实体的模拟。(该功能正在测试中,将在 0.1.1 版本中发布)。

Genesis物理引擎的机器人模拟器进行速度对比

生成 4D 动态和物理世界

Genesis 的物理引擎由基于 VLM 的生成代理提供支持,该代理使用模拟基础架构提供的 API 作为工具来创建 4D 动态世界,然后可将其用作提取各种数据模态的基础数据源。结合用于生成摄像头和物体运动的模块,我们能够生成物理准确且视图一致的视频和其他数据模态。

physical

主要

与之前的仿真平台相比,我们这里重点介绍了 Genesis 的几个主要特点:

  • 🐍 100% Python,前端界面和后端物理引擎均用 Python 原生开发。

  • 👶轻松安装极其简单用户友好的API 设计。

  • 🚀前所未有的速度 并行模拟 :Genesis 是世界上最快的物理引擎 ,其模拟速度比现有的GPU 加速机器人模拟器(Isaac Gym/Sim/Lab、Mujoco MJX 等)快 10 到 80 倍 (是的,这有点科幻),同时不影响模拟准确性和保真度。

  • 💥 一个支持各种最先进的物理求解器的统一框架,可以对 大量材料和物理现象进行建模。

  • 📸 具有优化性能的照片级逼真的光线追踪渲染。

  • 📐可微分性:Genesis 的设计完全兼容可微分模拟。目前,我们的 MPM 求解器和工具求解器是可微分的,其他求解器的可微分性将很快添加(从刚体模拟开始)。

  • ☝🏻 物理上精确且可区分的触觉传感器

  • 🌌 对生成模拟 的原生支持,允许语言提示 各种模态的数据生成:交互式场景任务提案奖励资产角色动作策略轨迹相机运动(物理精确的)视频等。

相关推荐
Elastic 中国社区官方博客5 小时前
使用 Discord 和 Elastic Agent Builder A2A 构建游戏社区支持机器人
人工智能·elasticsearch·游戏·搜索引擎·ai·机器人·全文检索
2501_933329555 小时前
企业级AI舆情中台架构实践:Infoseek系统如何实现亿级数据实时监测与智能处置?
人工智能·架构
阿杰学AI5 小时前
AI核心知识70——大语言模型之Context Engineering(简洁且通俗易懂版)
人工智能·ai·语言模型·自然语言处理·aigc·数据处理·上下文工程
赛博鲁迅5 小时前
物理AI元年:AI走出屏幕进入现实,88API为机器人装上“最强大脑“
人工智能·机器人
管牛牛6 小时前
图像的卷积操作
人工智能·深度学习·计算机视觉
云卓SKYDROID6 小时前
无人机航线辅助模块技术解析
人工智能·无人机·高科技·云卓科技
琅琊榜首20207 小时前
AI生成脑洞付费短篇小说:从灵感触发到内容落地
大数据·人工智能
imbackneverdie7 小时前
近年来,我一直在用的科研工具
人工智能·自然语言处理·aigc·论文·ai写作·学术·ai工具
roman_日积跬步-终至千里7 小时前
【计算机视觉-作业1】从图像到向量:kNN数据预处理完整流程
人工智能·计算机视觉