论文阅读--Cross-view Transformers for real-time Map-view Semantic Segmentation

一种新的2D维度的bev特征提取方案,其通过引入相机先验信息(相机内参和外参)构建了一个多视图交叉注意力机制,能够将多视图特征映射为BEV特征。

cross view attention:BEV位置编码+由根据相机标定结果(内参和外参)演算得到的相机位置编码+多视图特征做attention得到

整体上文章的网络前端使用CNN作为特征抽取网络,中端使用CNN多级特征作为输入在多视图下优化BEV特征(也就是使用了级联优化),后端使用CNN形式的解码器进行输出

q:bev下加上map-view embedding进行refine

k:在多视图特征(由CNN网络得到)上也会添加camera-view的embedding进行refine

v:原多视图特征也会经过线型映射

为了感知道路的3D位置几何关系还对相机位置进行embedding(代码中为减去操作),并与上述的两种embedding进行关联

因为不知道实际的深度值,所以存在scale上的不确定性。与LSS不同,在这篇文章中并没有显式使用深度信息或者是隐式编码深度空间分布,而是将scale上的不确定性编码使用上述提到的camera-view embedding、map-view embedding和transformer网络进行学习和适应

相关推荐
Donvink8 小时前
【DeepSeek-R1背后的技术】系列九:MLA(Multi-Head Latent Attention,多头潜在注意力)
人工智能·深度学习·语言模型·transformer
xiao5kou4chang6kai410 小时前
遥感影像目标检测:从CNN(Faster-RCNN)到Transformer(DETR)
目标检测·cnn·transformer·遥感影像
夏莉莉iy14 小时前
[MDM 2024]Spatial-Temporal Large Language Model for Traffic Prediction
人工智能·笔记·深度学习·机器学习·语言模型·自然语言处理·transformer
造夢先森16 小时前
Transformer & LLaMA
深度学习·transformer·llama
万里守约17 小时前
【论文阅读】SAM-CP:将SAM与组合提示结合起来的多功能分割
论文阅读·图像分割·多模态·语义分割·实例分割·图像大模型
chnyi6_ya17 小时前
2025/02/22阅读论文笔记
论文阅读
zm-v-159304339861 天前
从CNN到Transformer:遥感影像目标检测的未来趋势
目标检测·cnn·transformer
maxruan2 天前
自动驾驶之BEV概述
人工智能·机器学习·自动驾驶·bev
qq_15321452642 天前
Openai Dashboard可视化微调大语言模型
人工智能·语言模型·自然语言处理·chatgpt·nlp·gpt-3·transformer
cufewxy20182 天前
Transformer解析——(四)Decoder
人工智能·深度学习·transformer·decoder