学习记录——FeatEnHancer

FeatEnHancer: Enhancing Hierarchical Features for Object Detection and Beyond Under Low-Light Vision

一种适用于任意低光照任务增强方法

ICCV 2023

提出了FeatEnHancer,一种用于低光照视觉任务的增强型多尺度层次特征的新方法。提议的解决方案重点增强相关特征,通过提供强大的语义表示,使其优于现有的低光照图像增强方法。该方法不仅改进了单个特征的质量,而且还有效地结合了来自不同尺度的特征,确保在诸如物体检测和分割等任务上达到更好的性能。

FeatEnHancer的模块,该模块借鉴了多头注意力机制,层次性地结合多尺度特征 。这种方法确保了网络能够提取更具代表性和判别行的增强特征。具体地,该方法着眼于改进每个尺度或级别下的特征质量,同时根据任务的相对重要性结合不同尺度的特征(动态机制)。

整体的架构如图所示,不难看出就是一个分层的特征表示,中间再结合一些多尺度的特征融合机制,最终得到一张经过低光照增强的图像再送入下游任务做应用。

多尺度特征融合

低分辨率特征():包含细节和边缘。

高分辨率特征():捕获抽象信息,例如形状和模式。

为此,我们可以应用如下融合策略:

尺度感知注意力特征聚合(SAFA):灵感来源于多头注意力机制,使网络能够共同从不同尺度学习信息。

跳跃连接(SC):集成的低级信息和SAFA的增强表示,得到最终增强的分层表示。

End

以上仅作个人学习记录使用