DEA-Net:基于细节增强卷积和内容引导注意力的单图像去雾

IEEE TIP 2024 | DEA-Net:基于细节增强卷积和内容引导注意力的单图像去雾 DEA-Net: Single image dehazing based on detail-enhanced convolution and content-guided attention

paper name: DEA-Net: Single image dehazing based on detail-enhanced convolution and content-guided attention

论文介绍:提出一种单图像去雾网络DEA-Net,DEA-Net是一种有监督式学习,网络在以下几点有创新之处:

1.使用多种差分卷积(中心差分卷积,角度差分卷积,水平差分卷积,垂直差分卷积)来替换普通的卷积

2.提出内容引导注意(content-guided attention),它是由空间注意力(Spatial attention)和通道注意力(Channel attention)

3.提出基于内容引导注意的混合融合方案,提出一种基于遗传算法的混合方案,通过学习空间权重来调整特征。

method

1.差分卷积

论文中大量使用了四种差分卷积来替换普通的卷积,其可以更好的提取出边缘特征。中心差分卷积的示例图如图1所示。中心差分卷积的主要操作为把输入矩阵x每个元素都减去x5,然后再与对于的卷积核进行运算。其他三种差分卷积类似,只是差分操作不一样。水平差分卷积如图2所示。

图1 中心差分卷积

图2 水平差分卷积

2.内容引导注意(CGA)

内容引导注意由空间注意力(Spatial attention)和通道注意力(Channel attention),其流程图如图3所示。

图中GMP和GAP分别代表最大池化和平均池化操作。channel shuffle操作是通过重新排列卷积层输出的通道。这样可以促进特征之间的交互,从而提高模型的表达能力。

图3 内容引导注意力

3.提出基于内容引导注意的混合融合方案

一种基于遗传算法的混合方案,通过学习空间权重来调整特征。论文中所谓的学习的空间权重就是将CGA的输出结果W。用得到的空间权重w与Low-level features和High-level features进行乘法相加得到。

图4 DEA-Net网络结构图

相关推荐
threelab2 小时前
07.three官方示例+编辑器+AI快速学习webgl_buffergeometry_attributes_integer
人工智能·学习·编辑器
背太阳的牧羊人2 小时前
tokenizer.encode_plus,BERT类模型 和 Sentence-BERT 他们之间的区别与联系
人工智能·深度学习·bert
学算法的程霖2 小时前
TGRS | FSVLM: 用于遥感农田分割的视觉语言模型
人工智能·深度学习·目标检测·机器学习·计算机视觉·自然语言处理·遥感图像分类
博睿谷IT99_3 小时前
华为HCIP-AI认证考试版本更新通知
人工智能·华为
一点.点4 小时前
SafeDrive:大语言模型实现自动驾驶汽车知识驱动和数据驱动的风险-敏感决策——论文阅读
人工智能·语言模型·自动驾驶
concisedistinct4 小时前
如何评价大语言模型架构 TTT ?模型应不应该永远“固定”在推理阶段?模型是否应当在使用时继续学习?
人工智能·语言模型·大模型
找了一圈尾巴4 小时前
AI Agent-基础认知与架构解析
人工智能·ai agent
jzwei0234 小时前
Transformer Decoder-Only 参数量计算
人工智能·深度学习·transformer
小言Ai工具箱4 小时前
PuLID:高效的图像变脸,可以通过文本提示编辑图像,通过指令修改人物属性,个性化文本到图像生成模型,支持AI变脸!艺术创作、虚拟形象定制以及影视制作
图像处理·人工智能·计算机视觉
白熊1884 小时前
【计算机视觉】基于深度学习的实时情绪检测系统:emotion-detection项目深度解析
人工智能·深度学习·计算机视觉