LATR:3D Lane Detection from Monocular Images with Transformer

参考代码:LATR

动机与主要工作:

之前的3D车道线检测算法使用诸如IPM投影、3D anchor加NMS后处理等操作处理车道线检测,但这些操作或多或少会存在一些负面效应。IPM投影对深度估计和相机内外参数精度有要求,anchor的方式需要一些如NMS的后处理辅助。这篇文章主要的贡献有两点:

  • 1)针对车道线的特性基于DETR目标检测算法提出了一种基于landline query的检测方法,为了使得query的初始化更合理借鉴了SparseInst方法从2D图像域中用不同实例来初始化query,并且建立车道线query的粒度不是车道线级别而是具体到了车道线上的点。
  • 2)用图像特征作为key和val是较难去学习其中的3D信息的,在相机内外参数已知情况下构建一个可学习的3D空间位置编码,通过decoder中多轮迭代和与图像特征融合预测残差方式,不断修正3D空间位置编码。

检测器的结构:

这篇文章的方法流程见下图所示:

可以从上图中看到backbone出来之后接一个车道线实例预测网络,由此实现lane query生成和初始化。对于图像特征使用3D信息嵌入的位置编码,只不过这个位置编码是在给定一个的初始化基础上修正而来的,也就是说在transformer解码的过程中这个位置编码的值是动态的。

车道线query构建:

这部分参考SparseInst中对于inst feature的构建过程,具体可以去查阅对应的论文,由此可以得到车道线query的特征表达 Q l a n e ∈ R N ∗ C Q_{lane}\in R^{N*C} Qlane∈RN∗C(这里是从特征图尺寸最大的那个特征上得到的)。而对于车道线来说,其是由多个点组成的,那么还需要对上面的点构建query,这里通过设定可学习的参数来实现 Q ∈ R M ∗ C Q_{}\in R^{M*C} Q∈RM∗C。那么接下来就是使用broadcast机制实现最后车道线的query构建 Q ∈ R ( N ∗ M ) ∗ C Q\in R^{(N*M)*C} Q∈R(N∗M)∗C

实例+点query的形式效果才是最好的:

图像feature的位置编码:

这里关注的是自动驾驶场景下的车道线,则根据车道线的分布特点可以为对应2D图像特征设置位置编码。这里的位置编码是首先在3D空间中进行采样(也就是文章定义的3D地平面),之后通过相机内外参数投影到图像中,以此来作为对应图像位置处的3D位置来源。只不过这里的3D地平面是动态更新的,在transformer的不同层中会预测不同的更新残差,定义的残差变量有旋转角度(偏航角) Δ θ \Delta \theta Δθ和平面高度 Δ h \Delta h Δh,其预测是通过一组FC层实现的:
[ Δ θ , Δ h ] = M L P ( A v g P o o l ( G [ X , M p ] ) ) [\Delta \theta,\Delta h]=MLP(AvgPool(\mathcal{G}[X,M_p])) [Δθ,Δh]=MLP(AvgPool(G[X,Mp]))

其中, G , X , M p \mathcal{G},X,M_p G,X,Mp分别代表2层卷机操作、图像特征、上一轮的地平面的位置编码。

则新一轮的平面点会使用下面的矩阵进行更新:

则在原本不准确的3D平面上就可以通过自适应回归的方式优化3D地平面,由此实现特征3D位置编码的优化。此外,地平面的约束还使用过车道线上的点投影建立起来
L p l a n e = ∑ u , v ∈ P ∩ L ∣ ∣ M p [ : , u , v ] − M l [ : , u , v ] ∣ ∣ 2 L_{plane}=\sum_{u,v\in \mathcal{P}\cap\mathcal{L}}||M_p[:,u,v]-M_l[:,u,v]||_2 Lplane=u,v∈P∩L∑∣∣Mp[:,u,v]−Ml[:,u,v]∣∣2

最终的效果也就是使得下图中的绿色平面与红色的车道线接近。不过截止10.09.2023这部分的代码并没有开放出来。下图展示了地平面会随着迭代的进行收敛到实际车道线的位置上:

分析位置编码的作用,首先看位置编码带来的性能提升:

从上表可以看到位置编码确实能带来性能的提升,无论是视锥还是固定平面编码,只不过这里动态平面编码的方式更加适合车道线,因而相比起来有1个点的提升。这里说明准确的位置编码有助于得到更好的检测性能,而且文章提出的平面优化自由度只有2个,更多的维度是否能更好呢?

车道线query+位置编码两者对检测性能的影响:

对于后面车道线的解码部分就跟传统的DETR一致了,这里就不做展开。

不同数据集下的性能表现:

OpenLane validation:

OpenLane不同天气条件下的表现

相关推荐
羊小猪~~15 分钟前
神经网络基础--什么是正向传播??什么是方向传播??
人工智能·pytorch·python·深度学习·神经网络·算法·机器学习
道可云22 分钟前
道可云人工智能&元宇宙每日资讯|2024国际虚拟现实创新大会将在青岛举办
大数据·人工智能·3d·机器人·ar·vr
软工菜鸡40 分钟前
预训练语言模型BERT——PaddleNLP中的预训练模型
大数据·人工智能·深度学习·算法·语言模型·自然语言处理·bert
deephub2 小时前
Tokenformer:基于参数标记化的高效可扩展Transformer架构
人工智能·python·深度学习·架构·transformer
qzhqbb2 小时前
基于 Transformer 的语言模型
人工智能·语言模型·自然语言处理·transformer
___Dream2 小时前
【CTFN】基于耦合翻译融合网络的多模态情感分析的层次学习
人工智能·深度学习·机器学习·transformer·人机交互
极客代码2 小时前
【Python TensorFlow】入门到精通
开发语言·人工智能·python·深度学习·tensorflow
Sitarrrr3 小时前
【Unity】ScriptableObject的应用和3D物体跟随鼠标移动:鼠标放置物体在场景中
3d·unity
王哈哈^_^3 小时前
【数据集】【YOLO】【VOC】目标检测数据集,查找数据集,yolo目标检测算法详细实战训练步骤!
人工智能·深度学习·算法·yolo·目标检测·计算机视觉·pyqt
是瑶瑶子啦4 小时前
【深度学习】论文笔记:空间变换网络(Spatial Transformer Networks)
论文阅读·人工智能·深度学习·视觉检测·空间变换