机器人抓取综述

抓取物体的能力是大多数机器人操作任务所需的基 本能力之一。抓取涉及到物体的三维几何和物理特性的 推理,如质量和摩擦,以及复杂接触物理的推理。研究 方向主要有两个:已知物体三维模型或类别的基于模型抓取和不知道物体先验知识的无模型抓取。

基于三维模型的抓取:根据六自 由度目标位姿1,2,3,4或检测到的目标关键点5,6对这些 抓取点进行变换,从而规避了接触和抓取生成的物理推理。

缺点:只适用于已知对象或 类别的有限子集,并且在检测六自由度对象姿态或对象 关键点时的任何错误都会降低抓取性能

基于无模型的抓取(基于数据驱动的抓取):不会对物体的类别或形状做出任何强有 力的假设,它们会学习所有物体形状和大小的共享表示。然而,除了抓取姿势的大SE(3)空间之外,为所有对象提 供一个共享表示使得学习问题相当具有挑战性。7,8,9 抓取由每个像素周围 的定向矩形表示。这种方法需要相机垂直地观看场景,从而极大地限制了3D 推理和应用。

为解决抓取平面的局限性,10,11,12,13, 14解决了未知物体6D抓取问题。目标物体必须被成功抓取,同时必须避免与其他物体发 生任何碰撞,以防止损坏或转化为其他不希望的状态。

判别方法:抓取的判别方法是训练一个分类器来评估现有的抓取质量【3个】【Dex-Net2.0】【Fischinger D, Weiss A, Vincze M. Learning grasps with topographic featuresJ. The International Journal of Robotics Research, 2015, 34(9): 1167-1194.】【PointNetGPD】。它们使用不同的采样策略来生成潜在 的候选对象。对于平面抓取,交叉熵被广泛使用,因为 它可以通过迭代评估不同位置的抓取质量来收敛到最终 抓取位置【Dex2.0】。然而,交叉熵方法在高维六自由度抓取空 间中效果不佳。为了克服采样复杂性问题,通常使用几 何启发式对抓取位置进行采样【GPD、PointNetGPD】。

抓取生成:基于学习的生成式抓取方法旨在克服几何启发 式的局限性,通常根据物理模拟器中的经验生成有意义 的6-DoF抓取【2个,6-dof graspnet、】【Mousavian A, Eppner C, Fox D. 6-dof graspnet: Variational grasp generation for object manipulationC//Proceedings of the IEEE/CVF international conference on computer vision. 2019: 2901-2910.】【Murali A, Mousavian A, Eppner C, et al. 6-dof grasping for target-driven object manipulation in clutterC//2020 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2020: 6232-6238.】。

不是使用启发式方法对一些 潜在的候选对象进行抽样并对它们进行排序,而是直接预测SO(3)空间中的每点可抓取性得分和接近方向【Graspnet-1billion】【Qin Y, Chen R, Zhu H, et al. S4g: Amodal single-view single-shot se (3) grasp detection in cluttered scenesC//Conference on robot learning. PMLR, 2020: 53-65.】【"Pointnet++ grasping】

Sundermeyer等人【Sundermeyer M, Mousavian A, Triebel R, et al. Contact-graspnet: Efficient 6-dof grasp generation in cluttered scenesC//2021 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2021: 13438-13444.】在Murali等人【Murali A, Mousavian A, Eppner C, et al. 6-dof grasping for target-driven object manipulation in clutterC//2020 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2020: 6232-6238.】的工作基础上,直接处理一个完整的场景点云或目标物体周围的局部区域,使用预训练的未知物体实例分割模型对物体进行分割,生成的抓地力的质量不依赖于精确掩模,端到端的实现复杂场景中对未知物体的抓取。

相关推荐
刘大猫.3 小时前
智造短剧新引擎:火山引擎上线「火山剧创 1.0」,制作效率提升 80%
人工智能·ai·chatgpt·机器人·大模型·火山引擎·短剧新引擎
zhangfeng11336 小时前
AI 每日动态推送|2026-05-30 codidng 机器人方向
人工智能·机器人
心之所向52110 小时前
机器人领域 Physical Intelligence π 系列论文综述
机器人
阿里云大数据AI技术10 小时前
逐际动力 x 阿里云 PAI:携手开启具身智能走向物理世界新篇章
人工智能·机器人
真的想上岸啊16 小时前
EdgeMind·云边智护机器人:第一篇:从一堆舵机到第一台能动的机器人——EdgeMind 项目立项与底盘搭建记录
笔记·机器人
半导体守望者16 小时前
ADTEC AX-1000Ⅱ电源 RF电源等离子电源操作指南RF PLASMA GENERATOR
学习·机器人·自动化·制造·模块测试
dblens 数据库管理和开发工具16 小时前
DBLens + 企业微信智能机器人:把数据库 Agent 接入工作群
数据库·机器人·企业微信
路人甲32616 小时前
Moravec‘s Paradox and the Robot Olympics
人工智能·深度学习·计算机视觉·机器人·具身智能
硅谷秋水18 小时前
τ0-WM:用于机器人操纵的统一视频-动作世界模型
人工智能·机器学习·计算机视觉·语言模型·机器人·音视频
feasibility.1 天前
ROS2+Gazebo+VLM服务:纯仿真环境下的具身智能闭环系统| 大脑-小脑分离控制
人工智能·机器人·ros·仿真·具身智能·vla·vlm