机器人领域中的AI
- 机器人模拟Simulation
- [具身大模型框架 ViLa+CoPa](#具身大模型框架 ViLa+CoPa)
强化学习（Reinforcement Learning）、深度强化学习（Deep Reinforcement Learning），模仿学习（Imitation Learning）、迁移学习（Transfer Learning）、元学习（Meta Learning）等技术 解决机器人学习（Robot Learning）和控制问题。
机器人控制算法划分
1.基于模型的控制算法（LIPM+ZMP）
2.动态模型控制+最优控制算法（MPC+WBC）
3.模拟+强化学习 （AI人员研究）
李飞飞 团队研究成果 VoxPoser ,使用LLM+VLM， 从3D空间分析出目标和环境障碍，帮助机器人实现行动规划，让真实机器人在未经训练的情况下直接执行任务。
VoxPoser:Composable 3D Value Maps for Robotic Manipulation with Language Models 2023
基于扩散模型的机器人动作生成策略
DIffusion Policy
DIffusion是一种生成方法，如今图像领域的成就基本都是基于Diffusion方法，如常见的stable diffusion 和Midjourney。
其次policy，它是机器学习算法用来驱动机器人的核心组成部分，它的输入是各种感知信息（如相机拍到的视频，还有机器人各个关节的位置），输出是要执行的动作。
Diffusion Policy就是应用Diffusion这种方法生成机器人动作的一种Policy。
机器人模拟Simulation
Sim+RL，Sim2Real，Real2Sim2Real，通过模拟环境先调试算法，在确保没有问题的情况下再部署到真机上，既保证了安全性，也可以加快开发速度。解决硬件成本高问题。
Simulately的开源项目，（机器人模拟器领域的Hugging Face）非官方
- NVIDIA Isaac Sim是一款可扩展的机器人模拟器
- Webots是一款于1998年由Cyberbotics Ltd.推出的机器人模拟器，为工业和学术研究提供完整的机器人开发和建模环境。
- CoppeliaSim，以前称为V-REP，是一款在工业、教育和学术研究中使用的机器人模拟器，目前作为商业软件的形式提供服务。
- Gazebo是一个开源的2D/3D机器人模拟器。
- PyBullet基于Bullet物理引擎的一款开源机器人模拟器，PyBullet和Python紧密结合，在强化学习 (RL) 中广泛应用。是Gazebo强有力的竞争对手。
家庭场景
-
SAPIEN是由UCSD苏昊团队联合Stanford和Simon Fraser University的研究人员共同开发和维护的一款开源机器人模拟器
-
Habitat是由Meta Fair推出的一款用于研究大规模人机交互的开源模拟器。
-
AI2-THOR（The House Of inteRactions）是由艾伦人工智能研究所（AI2）下设的计算机视觉研究团队PRIOR提出的基于Unity的开源模拟器，包括接近照片逼真的3D室内场景，用于训练机器人执行各种家务任务。
-
iGibson（Interactive Gibson）是由李飞飞带领的Stanford SVL推出的一个开源模拟器，该模拟器基于Bullet物理引擎和自研的渲染引擎。iGibson配备了15个完全交互式的高质量场景，包括108个房间，其中有刚性和关节对象，
模拟器在追求更准确和更真实的渲染时，通常需要牺牲速度和采样效率。对于强化学习等任务，采样效率可能是关键，而对于一些需要真实渲染的领域，如视觉和模仿学习，渲染质量可能更重要。因此，在不同的研究中，关注的特性可能不同。从研究角度来看，使用复杂度和友好程度也是考虑的因素。对于简单的任务，可能更倾向于使用轻量级、易用的模拟器，而对于需要更深度功能的任务，则可能需要更底层的接口和更复杂的框架。
Sim2Real Gap的问题大致分为两类：一类是关于视觉的，即外观方面的问题，另一类是物理方面的问题。在这两个方向上，我们都面临一些较大的挑战。
具身智能模拟器更注重速度，虽然在接触点建模方面可能不够精细，但非常适合个人用户或实验室用户，只需一块显卡就能进行训练。另一方面，像MIT Russ Tedrake教授开发的Drake模拟器，速度较慢，但在接触点建模方面更为精细，适用于最优控制等场景。
3D生成本身并不依赖于模拟器，3D生成可以为模拟器提供服务，模拟器是3D生成的下游。在模拟器中需要模拟很多3D模型和物体，而最早这些模型通常由艺术家手工建模，成本较高且培养艺术家的成本也昂贵。因此，人们开始考虑如何利用由AI生成的模型来丰富模拟器的内容，使其更强大。这就是为模拟器提供环境和素材的方法。