Genesis:用于机器人及其他领域的生成式通用物理引擎

Genesis 是一个综合物理模拟平台,由清华、北京大学、哈佛、英伟达等众多顶尖机构合力研发,专为通用机器人、具身人工智能和物理人工智能应用而设计。它同时具有多种功能:

  • 从头开始重新构建的通用物理引擎,能够模拟各种材料和物理现象。
  • 一个轻量级超快Python 风格用户友好的机器人模拟平台。
  • 强大而快速的照片级真实感渲染系统。
  • 将用户提示的自然语言描述转换为各种数据模式的生成数据引擎

Genesis 由重新设计和重新构建的通用物理引擎提供支持,将各种物理解算器及其耦合集成到一个统一框架中。此核心物理引擎通过在更高级别运行的生成代理框架得到进一步增强,旨在为机器人技术及其他领域实现全自动数据生成。我们的生成框架旨在自动生成数据,包括以下模式:

  • 物理准确且空间一致的视频
  • 相机运动和参数
  • 人类和动物角色动作
  • 机器人操控和运动策略,可部署到现实世界
  • 完全交互式的 3D 场景
  • 开放世界铰接式物体生成
  • 语音音频、面部动画和情感

目前,Genesis正在开源底层物理引擎和模拟平台。在不久的将来,将逐步推出对生成框架的访问。

优化性能

Genesis 是一款高度优化的物理引擎,利用 GPU 加速的并行计算,具有优化碰撞检查、自动休眠、接触岛等功能。Genesis 在各种场景中提供前所未有的模拟速度。

在模拟操控场景(使用单个飞机和 Franka 手臂)时,Genesis 的运行速度达到 4300 万 FPS,比实时速度快 43 万倍。

在大规模模拟中,Genesis 利用自动休眠功能来加速处于收敛和静态状态的实体的模拟。(该功能正在测试中,将在 0.1.1 版本中发布)。

Genesis物理引擎的机器人模拟器进行速度对比

生成 4D 动态和物理世界

Genesis 的物理引擎由基于 VLM 的生成代理提供支持,该代理使用模拟基础架构提供的 API 作为工具来创建 4D 动态世界,然后可将其用作提取各种数据模态的基础数据源。结合用于生成摄像头和物体运动的模块,我们能够生成物理准确且视图一致的视频和其他数据模态。

physical

主要

与之前的仿真平台相比,我们这里重点介绍了 Genesis 的几个主要特点:

  • 🐍 100% Python,前端界面和后端物理引擎均用 Python 原生开发。

  • 👶轻松安装极其简单用户友好的API 设计。

  • 🚀前所未有的速度 并行模拟 :Genesis 是世界上最快的物理引擎 ,其模拟速度比现有的GPU 加速机器人模拟器(Isaac Gym/Sim/Lab、Mujoco MJX 等)快 10 到 80 倍 (是的,这有点科幻),同时不影响模拟准确性和保真度。

  • 💥 一个支持各种最先进的物理求解器的统一框架,可以对 大量材料和物理现象进行建模。

  • 📸 具有优化性能的照片级逼真的光线追踪渲染。

  • 📐可微分性:Genesis 的设计完全兼容可微分模拟。目前,我们的 MPM 求解器和工具求解器是可微分的,其他求解器的可微分性将很快添加(从刚体模拟开始)。

  • ☝🏻 物理上精确且可区分的触觉传感器

  • 🌌 对生成模拟 的原生支持,允许语言提示 各种模态的数据生成:交互式场景任务提案奖励资产角色动作策略轨迹相机运动(物理精确的)视频等。

相关推荐
支支დ1 小时前
VO by Vercel 前端特定优势:为什么它是构建 AI 应用的新范式
前端·人工智能
ZGIAI1 小时前
ZGI 让那些"等你去处理"的事,真正跑起来
人工智能·架构
ZGIAI2 小时前
ZGI:别再做Agent Demo了,先问问它在业务里能不能撑过下周三
人工智能·架构
香芋芋圆2 小时前
AI 冲击内卷之下,普通前端如何破局?WebGIS—— 低门槛突围赛道
前端·javascript·人工智能·学习·职场发展
m0_614523552 小时前
完整教程|输入一句描述,能不能直接生成一段可以继续剪辑的视频:写结构化描述到生成短样片
人工智能·音视频
stormzhangV2 小时前
AGI 时代终于来了!
人工智能·openai
清风百草2 小时前
【05】AI辅助文档管理:开发者的效率革命
人工智能·ai辅助文档管理·开发者的效率革命
甲维斯3 小时前
Gemini锐评GPT6:我要泼冷水扒底裤!
人工智能
2501_928996223 小时前
GPT-4o换DeepSeek迁移成本多少?中科热备解析API聚合平台技术账本
前端·数据库·人工智能
敢敢のwings3 小时前
ACT-2 深度解析:家用机器人如何把“会做”推进到“可靠地做”
人工智能·机器人