GraspNet-1Billion 论文阅读

文章目录

GraspNet-1Billion

CVPR2020

上海交大
论文和数据集地址:https://graspnet.net/

总体

主要解决训练数据不足和抓取姿态表示形式不同,没有统一的评估方法;仿真数据和真实场景数据存在gap

本文主要贡献是提出一个大规模数据集,一个统一的评价指标,一个端到端的物体抓取姿态预测方法

数据集

深度相机与机械臂固定连接,控制机械臂沿固定轨迹运动,只需要第一帧的6D位姿,后续的帧通过标定好的相机参数进行传递。

抓取姿态标注流程:

a. 抓取点采样

b. 抓取生成:视角、平面旋转和抓取深度采样

c. 通过物体的6D姿态投影场景中得到抓取姿态

d 碰撞检测

评价指标

Precision@k:前k个抓取的精度

网络

输入:点云

输出:抓取姿态(相对于相机坐标系)

pointnet++:

最远点采样算法, 点云分类

Approach Network:

输出能否抓取和预先定义的接近向量数量

Operation Network:

圆柱区域变换

旋转和宽度:分类比回归效果更好

Tolerance Network

grasp affinity fields:增加扰动还是有效的

摘要

物体抓取在许多应用中都是至关重要的,也是一个具有挑战性的计算机视觉问题。然而,对于复杂的场景,目前的研究存在训练数据不足和缺乏评估基准的问题。在这项工作中,我们提供了一个具有统一评估系统的大规模抓取姿势检测数据集。我们的数据集包含97280个RGB-D图像,超过10亿个抓取姿势。同时,我们的评估系统通过分析计算直接报告抓取是否成功,这能够评估任何种类的抓取姿势,而无需详尽地标记真值。 此外,本文还提出了一种基于点云输入的端到端抓取姿态预测网络,通过解耦的方式学习机器人的接近方向和操作参数,并设计了一种新的抓取亲和度场来提高抓取鲁棒性。实验结果表明,本文的数据集和评估系统能够很好地与真实世界的实验结果相吻合,网络的性能达到了最先进的水平。 我们的数据集、源代码和模型可在www.graspnet.net上公开获取。

相关工作

基于深度学习的抓取预测算法

抓取数据集

点云深度学习

相关推荐
可乐ea8 小时前
MCP 和 CLI 差 42 倍:一次 GitHub 任务的上下文成本实测
人工智能·github·工具调用·ai智能体·openrouter·mcp协议·上下文优化
kyriewen8 小时前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能
泯泷8 小时前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent
电科_银尘8 小时前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习
阿里云大数据AI技术9 小时前
云栖实录|倍思科技 × 阿里云:让VOC洞察从“生成报告”走向“业务可用”
人工智能·elasticsearch·agent
AllData公司负责人9 小时前
第九篇:AI大模型数据开发底座系列说明书:AllData集成BISHENG开源项目建设大模型应用开发底座,涵盖可视化编排/智能助手/一键API/模型接入!
人工智能·云原生·数据分析·视觉检测·知识图谱·大模型应用·bisheng
数字新视界9 小时前
数据中心DCIM管理系统助力提升机房管理效率与安全性
大数据·人工智能·物联网·信息与通信·动环监控系统
阿里云大数据AI技术9 小时前
阿里云 EMR Serverless StarRocks(Stella)× Paimon:让多模态数据湖从“存得下”走向“找得到、用得上”
人工智能
class心平气和10 小时前
AI 赋能测试流程:从基础概念到测试全流程实战
人工智能
猿人谷10 小时前
遗传编程的未来:从进化搜索到自主发现求解方法
人工智能·深度学习·神经网络·ai-native