基于GS(Gaussian Splatting)的机器人Sim2Real2Sim仿真平台有哪些

目前基于 GS(Gaussian Splatting,高斯点渲染/重建) 技术的机器人 Sim2Real2Sim(或 Real-Sim-Real / Real2Sim2Real)仿真平台 正在成为一个新的研究热点,主要利用高保真重建和渲染 来缩小仿真与现实之间的视觉与感知差距,从而提高策略迁移效果。以下是已公开的主要平台/框架:


🔹 1) RoboGSim --- Real2Sim2Real 高斯点仿真器

  • 一个完整的 闭环机器人仿真平台,专注于 Real → Sim → Real 数据与策略循环。

  • 核心通过 3D Gaussian Splatting 重建场景,并与传统仿真引擎(例如 Nvidia Isaac Sim)结合,实现高保真视觉渲染与物理一致性评估。

  • 包含:

    • Gaussian Reconstructor(基于 GS 重建静态场景)
    • Digital Twins Builder(现实世界资产数字孪生构建与布局对齐)
    • Scene Composer(多视角场景/对象合成)
    • Interactive Engine(闭环策略仿真与评估)
  • 用于生成训练数据、策略评估和 Sim2Real 迁移测试。(技术栈1)

📌 特点:强调 高保真渲染 + 低成本数据合成 + 策略闭环评估。

👉 适合需要 大规模复现真实场景视觉特性 的仿真学习/策略迁移任务。


🔹 2) RoboSimGS --- 基于 Gaussian Splatting 的 Real2Sim2Real 框架

  • 一个 仿真场景自动构建与策略训练框架,融合了:

    • GS 进行场景的 高保真渲染与逼真视觉表现
    • 传统物理对象 mesh + 刚体模型 进行准确的物理交互
    • (可选)使用 多模态大模型(MLLM) 推断物体动力学 & 运动结构,实现更物理合理的仿真对象生成
  • 可用于 训练策略并进行 sim→real 迁移验证。(robosimgs.github.io2)

📌 特点:强调物理系统与高保真视觉联合构建,更适合机械交互任务。


🔹 3) SplatSim --- 高斯渲染驱动的零样本 Sim2Real 平台

  • 针对 基于 RGB 视觉的操作策略 提出的一套仿真系统。
  • 主要思想是用 高斯点渲染替代传统 mesh 渲染 来显著提高视觉质量,从而减少域差,提升 Sim2Real 迁移性能。
  • 可用于 策略训练 + 直接部署到真实机器人(zero-shot)。(splatsim.github.io3)

📌 特点:重点在 渲染质量与视觉域差 而非完整仿真闭环。


🔹 4) GSWorld --- Photo-Realistic 仿真套件(研究方向)

  • 近期提出的一个 闭环机器人仿真系统(结合 Gaussian Splatting 与物理引擎),用于:

    • 零样本 Sim2Real 控制策略
    • 自动高质量 DAgger 数据采集
    • 可重复评估真实策略
    • 通过虚拟遥操作生成数据
  • 实验包含不同机器人平台及丰富交互任务。(arXiv4)

📌 尚处于研究/预发表状态,但展示了未来 Sim2Real2Sim 框架的可能方向。


🧠 总结对比

平台 / 框架 使用 Gaussian Splatting 主要侧重点 是否闭环 ⇄
RoboGSim ✓ 高保真渲染 + 真实/仿真闭环 是
RoboSimGS ✓ 自动化场景重建 + 物理交互 部分
SplatSim ✓ 高质量视觉渲染 + Sim2Real 策略 是(视觉迁移)
GSWorld ✓ Photo-Realistic + 仿真策略评估 研究阶段

相关推荐
XMAIPC_Robot1 小时前
-40~85℃宽温实测:RK3588 机器人控制器硬件底座,长时间 SLAM 定位稳定性验证
人工智能·fpga开发·机器人·边缘计算·arm+fpga·rk3588+fpga
绿蕉2 小时前
谁在阻碍机器人连续跑300天?——被遗忘的“工程一致性“与“故障漂移“
机器人
数智奔流2 小时前
OpenAI健康板块负责人:AI医疗健康的上限和下限
机器人·具身智能·禾赛
绿蕉3 小时前
从硬件内卷到“中间件荒“——仿真工具、开发接口、开源生态
中间件·机器人
TMT星球4 小时前
云从科技训推一体化平台入选重庆市智能机器人产业链公共服务平台
人工智能·科技·机器人
大江东去浪淘尽千古风流人物4 小时前
【FLORA】机器人视频标注引擎解析:三模型如何产出动作指令与四类奖励信号
matlab·机器人·跨模态·遥感·图像匹配·1024程序员节·特征描述符
猫先生Mr.Mao4 小时前
让动作先接受“未来检验”:ThinkWorld 如何用世界想象强化机器人推理
机器人·强化学习·具身智能·vla·世界模型·thinkworld
zerwave5 小时前
从慢订阅者到发布者:LiteBus 如何用 Unix Socket 背压保护可靠 Topic
网络·机器人·unix
AI数据标注猿5 小时前
开源视觉数据工具FiftyOne最新版本:标注工具开始“读懂机器人”
机器人
合众恒跃6 小时前
合众恒跃具身机器人嵌入式AI解决方案
人工智能·机器人·rk3588·jetson·英伟达·瑞芯微·rk3576