机器人领域中的AI

机器人领域中的AI

强化学习(Reinforcement Learning)、深度强化学习(Deep Reinforcement Learning),模仿学习(Imitation Learning)、迁移学习(Transfer Learning)、元学习(Meta Learning)等技术 解决机器人学习(Robot Learning)和控制问题。

机器人控制算法划分

1.基于模型的控制算法(LIPM+ZMP)

2.动态模型控制+最优控制算法(MPC+WBC)

3.模拟+强化学习 (AI人员研究)

李飞飞 团队研究成果 VoxPoser ,使用LLM+VLM, 从3D空间分析出目标和环境障碍,帮助机器人实现行动规划,让真实机器人在未经训练的情况下直接执行任务。

VoxPoser:Composable 3D Value Maps for Robotic Manipulation with Language Models 2023

基于扩散模型的机器人动作生成策略
DIffusion Policy

DIffusion是一种生成方法,如今图像领域的成就基本都是基于Diffusion方法,如常见的stable diffusion 和Midjourney。

其次policy,它是机器学习算法用来驱动机器人的核心组成部分,它的输入是各种感知信息(如相机拍到的视频,还有机器人各个关节的位置),输出是要执行的动作。

Diffusion Policy就是应用Diffusion这种方法生成机器人动作的一种Policy。

机器人模拟Simulation

Sim+RL,Sim2Real,Real2Sim2Real,通过模拟环境先调试算法,在确保没有问题的情况下再部署到真机上,既保证了安全性,也可以加快开发速度。解决硬件成本高问题。

Simulately的开源项目,(机器人模拟器领域的Hugging Face)非官方

  • NVIDIA Isaac Sim是一款可扩展的机器人模拟器
  • Webots是一款于1998年由Cyberbotics Ltd.推出的机器人模拟器,为工业和学术研究提供完整的机器人开发和建模环境。
  • CoppeliaSim,以前称为V-REP,是一款在工业、教育和学术研究中使用的机器人模拟器,目前作为商业软件的形式提供服务。
  • Gazebo是一个开源的2D/3D机器人模拟器。
  • PyBullet基于Bullet物理引擎的一款开源机器人模拟器,PyBullet和Python紧密结合,在强化学习 (RL) 中广泛应用。是Gazebo强有力的竞争对手。

家庭场景

  • SAPIEN是由UCSD苏昊团队联合Stanford和Simon Fraser University的研究人员共同开发和维护的一款开源机器人模拟器

  • Habitat是由Meta Fair推出的一款用于研究大规模人机交互的开源模拟器。

  • AI2-THOR(The House Of inteRactions)是由艾伦人工智能研究所(AI2)下设的计算机视觉研究团队PRIOR提出的基于Unity的开源模拟器,包括接近照片逼真的3D室内场景,用于训练机器人执行各种家务任务。

  • iGibson(Interactive Gibson)是由李飞飞带领的Stanford SVL推出的一个开源模拟器,该模拟器基于Bullet物理引擎和自研的渲染引擎。iGibson配备了15个完全交互式的高质量场景,包括108个房间,其中有刚性和关节对象,

模拟器在追求更准确和更真实的渲染时,通常需要牺牲速度和采样效率。对于强化学习等任务,采样效率可能是关键,而对于一些需要真实渲染的领域,如视觉和模仿学习,渲染质量可能更重要。因此,在不同的研究中,关注的特性可能不同。从研究角度来看,使用复杂度和友好程度也是考虑的因素。对于简单的任务,可能更倾向于使用轻量级、易用的模拟器,而对于需要更深度功能的任务,则可能需要更底层的接口和更复杂的框架。

Sim2Real Gap的问题大致分为两类:一类是关于视觉的,即外观方面的问题,另一类是物理方面的问题。在这两个方向上,我们都面临一些较大的挑战。

具身智能模拟器更注重速度,虽然在接触点建模方面可能不够精细,但非常适合个人用户或实验室用户,只需一块显卡就能进行训练。另一方面,像MIT Russ Tedrake教授开发的Drake模拟器,速度较慢,但在接触点建模方面更为精细,适用于最优控制等场景。

3D生成本身并不依赖于模拟器,3D生成可以为模拟器提供服务,模拟器是3D生成的下游。在模拟器中需要模拟很多3D模型和物体,而最早这些模型通常由艺术家手工建模,成本较高且培养艺术家的成本也昂贵。因此,人们开始考虑如何利用由AI生成的模型来丰富模拟器的内容,使其更强大。这就是为模拟器提供环境和素材的方法。

具身大模型框架 ViLa+CoPa

相关推荐
Blossom.11814 小时前
机器学习在智能制造业中的应用:质量检测与设备故障预测
人工智能·深度学习·神经网络·机器学习·机器人·tensorflow·sklearn
MidJourney中文版19 小时前
深度报告:中老年AI陪伴机器人需求分析
人工智能·机器人
微小冷1 天前
二关节机器人系统模型推导
线性代数·机器人·概率论·推导·拉格朗日函数·二关节机器人·机器人控制系统的设计
kyle~1 天前
计算机视觉---RealSense深度相机技术
人工智能·数码相机·计算机视觉·机器人·嵌入式·ros·传感器
视觉语言导航2 天前
RAL-2025 | 清华大学数字孪生驱动的机器人视觉导航!VR-Robo:面向视觉机器人导航与运动的现实-模拟-现实框架
人工智能·深度学习·机器人·具身智能
BFT白芙堂2 天前
睿尔曼系列机器人——以创新驱动未来,重塑智能协作新生态(上)
人工智能·机器学习·机器人·协作机器人·复合机器人·睿尔曼机器人
Blossom.1182 天前
机器学习在智能建筑中的应用:能源管理与环境优化
人工智能·python·深度学习·神经网络·机器学习·机器人·sklearn
Mr.Winter`3 天前
障碍感知 | 基于3D激光雷达的三维膨胀栅格地图构建(附ROS C++仿真)
人工智能·机器人·自动驾驶·ros·具身智能·环境感知
AiTEN_Robot3 天前
AGV 无人叉车关键技术问题解析:精准定位算法 / 安全避障逻辑 / 系统对接协议全方案
人工智能·机器人·自动化·制造
一颗小树x3 天前
【机器人】复现 HOV-SG 机器人导航 | 分层 开放词汇 | 3D 场景图
机器人·机器人导航·复现·hov-sg·分层 3d 场景图