【CVPR2020】DEF:Seeing Through Fog Without Seeing Fog论文阅读分析与总结

Challenge:

之前网络架构的设计假设数据流是一致的,即出现在一个模态中的对象也出现在另一个模态中。然而,在恶劣的天气条件下,如雾、雨、雪或极端照明条件,多模态传感器配置中的信息可能不对称。不同传感器在特征提取阶段单独处理,在存在不对称测量失真的情况下,融合性能比单传感器差。

Contribution:

1.第一个恶劣天气下的大型多模态驾驶数据集,激光雷达、相机、雷达、门控近红外传感器和FIR传感器的100k标签

2.提出了由测量熵驱动的自适应特征融合而非proposals级别的融合(无需为这些场景提供大型带注释的训练数据集)

Method:

STF数据集,详见恶劣数据集总结
自适应深度融合:允许在非对称的传感器信息的情况下进行多模态融合。

  • 偏离了最近的BEV投影方案或原始点云输入,因为BeV投影或点云输入不允许深度早期融合,因为他们在早期层中的特征表示本质上与相机特征不同。

  • 使用修改后的VGG网络,conv4-10作为RPN网络输入

  • 为每个特征交换块提供传感器熵,根据可用信息单独缩放每个传感器的连接特征。熵低的区域可以衰减,而熵丰富的区域可以在特征提取中被放大。这样做可以自适应地融合特征提取堆栈本身中的特征

Entropy-steered Fusion

将投影分为16x16的patch,计算每个patch的local measurement entropy(理解为图像熵),pmni理解为第(m,n)个patch灰度为i的概率。pmn理解为第(m,n)个patch的信息熵,所有patch的信息熵和即为该投影的信息熵。

不同模态数据熵在不同情况下的变化:

RGB相机和LiDAR受到后向散射和衰减的影响,雾能见度降低数据熵显著降低。

门控和Radar则没有明显变化。光照情况下,随着亮度降低,RGB和门控数据信息熵明显减少,LiDAR和Radar则变化较少。

Experiments:

由于训练数据获取的天气偏差,只使用所提出数据集的晴朗天气部分进行训练(雾化数据增强),使用多模态天气数据集作为测试集来评估检测性能

相关推荐
有Li3 小时前
通过具有一致性嵌入的大语言模型实现端到端乳腺癌放射治疗计划制定|文献速递-最新论文分享
论文阅读·深度学习·分类·医学生
张较瘦_7 小时前
[论文阅读] 人工智能 | 深度学习系统崩溃恢复新方案:DaiFu框架的原位修复技术
论文阅读·人工智能·深度学习
selia10789 小时前
[论文阅读] Neural Architecture Search: Insights from 1000 Papers
论文阅读
寻丶幽风11 小时前
论文阅读笔记——NoPoSplat
论文阅读·笔记·三维重建·3dgs·相机位姿·dustr
寻丶幽风17 小时前
论文阅读笔记——VGGT: Visual Geometry Grounded Transformer
论文阅读·笔记·transformer·三维重建·3dgs·vggt
张较瘦_18 小时前
[论文阅读] 人工智能 + 软件工程 | Call Me Maybe:用图神经网络增强JavaScript调用图构建
论文阅读·人工智能·软件工程
非英杰不图20 小时前
论文阅读:Align and Prompt (ALPRO 2021.12)
论文阅读·prompt
qq_4162764221 小时前
当SAM遇到声纳图像时之论文阅读
论文阅读
王上上21 小时前
【论文阅读38】-结合应力预测位移
论文阅读
张较瘦_11 天前
[论文阅读] 软件工程 + 教学 | 软件工程项目管理课程改革:从传统教学到以学生为中心的混合式学习实践
论文阅读·学习·软件工程