PETR: Position Embedding Transformation for Multi-View 3D Object Detection

PETR: Position Embedding Transformation for Multi-View 3D Object Detection

作者单位

旷视

目的

DETR3D 中 2D->3D过程 存在的问题:

  1. 预测的参考点坐标可能不准确,在采样图片特征时可能拿不到对应的特征。
  2. 只有参考点 投影位置的图像特征被使用,无法学到全局的特征。
  3. 采样图像特征的过程过于复杂,难于应用

本文的目标是 在 DETR 的基础上,提出一个 简单优雅的 3D 目标检测框架

本文的贡献总结:

  1. 提出了一个简单优雅的框架,PETR,用于多视角的 3D 目标检测。
  2. 提出了一个新的 3D position-aware 表示
  3. 在 nuScenes 数据集上达到了 sota

方法

网络结构

网络整体结构:

  1. N 个 view 的图片,送入到 backbone(resnet50) 中提取 特征
  2. 3D坐标生成器:先将图像视锥空间离散化到成 3D 的 网格,然后使用 相机的参数,变换网格的坐标,并生成 3D 空间的坐标。
  3. 3D的坐标 和 2D feature 一起送入到 3D 位置编码器中,生成 3D position-aware 特征(每个 view 对应一个 特征图)。
  4. 3D position-aware 特征 会送入到 transformer decoder 中 并且与 来自 query 生成器 的 object queries 交互
  5. 更新后的 object queries 被用于生成 目标类别 和 3D 的 bounding boxes

3D 坐标生成器:

为了建立起 2D 图像 和 3D 空间的联系,将 相机视锥空间的点 投影到 3D 空间,因为这两个空间的点 是 一一对应的。

和 DGSN 论文相同,首先 离散 相机视锥空间 生成一个 网格(shape : W_F, H_F, d),然后可以用一个 变换矩阵 将 坐标 转换到 3D 坐标,3D 空间的 是 所有 view 的相机共享的。

然后再对 3D 空间下的坐标做归一化

归一化之后的坐标 在经过一次 transposed

3D 位置编码器

3D 位置编码器的目的 是 通过 联系 2D 图像特征 与 3D 位置信息 来 获得 3D 的特征

3D 位置编码器的结构:

2D特征 经过 1x1 卷积降维,3D坐标 使用 mlp 生成 embedding,然后将两者 add ,再 使用 flatten ,生成 向量(3D position-aware feature, shape, NxHxW)

Query 生成器 和 Decoder

Query Generator:

(网络学习的是基于 最初的 object queries 的 offset ,这样有利于网络收敛。以及该网络生成的是 3D 空间下的坐标点,这样可以保证网络的收敛,本文尝试了 DETR 中的设置,或者生成 BEV 下的 anchor poitns 都不能保证收敛

)

首先 初始化一组可学习的 3D 世界空间的 anchor poins 服从 0到1 的均匀分布,

然后输出 两层的 mlp 中 生成 最初的object queries。

Decoder

使用的 DETR 中标准的 decoder

相关推荐
feasibility.13 小时前
英伟达把物理AI的3D模型“应用商店”开放了:2575个SimReady仿真资产,总计约472GB,可让agent装配机器人训练场景
人工智能·3d·机器人·仿真·建模·具身智能·英伟达
LiaoWL1233 天前
NumPy 入门实战(二):向量化与余弦相似度——从 ndarray 到 Embedding
python·numpy·embedding
Solange__3 天前
Blender 3D模型优化:普通复制、共享网格、实例、合并怎么选?
人工智能·3d·ai·自然语言处理·编辑器·blender·材质
Martina_03214 天前
AI生成的3D白模单帧没问题,镜头一移动就被挡?用6步检查遮挡与构图
图像处理·人工智能·数学建模·3d·ai·自然语言处理·游戏策划
聪明的笨猪猪5 天前
企业知识库AI架构选型:落地导向的架构决策与组件清单
经验分享·面试·架构·embedding·数据库架构
BYSJMG5 天前
计算机毕业设计选题推荐:【基于深度学习的车辆损坏严重程度评估方法研究】ResNet50 图像分类
人工智能·深度学习·目标检测·机器学习·计算机视觉·分类·课程设计
BYSJMG5 天前
计算机毕业设计选题推荐|【基于深度学习的电梯电动车违规进入检测研究】YOLO26m+可视化大屏
人工智能·深度学习·神经网络·目标检测·机器学习·计算机视觉·课程设计
nice_lcj5206 天前
【从零理解 Spring AI · 14】RAG 的四个环节:加载、切分、向量化、检索
java·spring boot·embedding·向量数据库·rag·spring ai·ai应用开发
时间的情敌6 天前
Cesium 建筑单体化、3DTiles 分类、楼层显隐、分户高亮(BIM + 倾斜孪生高频)
前端·3d·cesium
数据集_深度学习7 天前
果园红绿苹果目标检测数据集介绍和论文参考
人工智能·目标检测