【论文精读-图像恢复】 All-In-One Image Restoration for Unknown Corruption

标题	AirNet All-In-One Image Restoration for Unknown Corruption 针对未知损坏的一体化图像修复
作者	Boyun Li, Xiao Liu, Peng Hu, Zhongqin Wu, Jiancheng Lv, Xi Peng College of Computer Science, Sichuan University. TAL Education, China.
来源	CVPR 2022
论文	https://openaccess.thecvf.com/content/CVPR2022/papers/Li_All-in-One_Image_Restoration_for_Unknown_Corruption_CVPR_2022_paper.pdf
代码	https://github.com/XLearning-SCU/2022-CVPR-AirNet

文章目录

- ABSTRACT
- [1 Introduction](#1 Introduction)
- [2 Related Works](#2 Related Works)
- - [2.1 image restoration图像修复](#2.1 image restoration图像修复)
  - [2.2 contrastive learning对比学习](#2.2 contrastive learning对比学习)
- [3 The Proposed Method](#3 The Proposed Method)
- - [3.1 The Objective Function](#3.1 The Objective Function)
  - [3.2 Contrastive-Based Degradation Encoder（CBDE）](#3.2 Contrastive-Based Degradation Encoder（CBDE）)
  - [3.3 Degradation-Guided Restoration Network（DGRN）](#3.3 Degradation-Guided Restoration Network（DGRN）)
  - [3.4 具体实例总结整体流程](#3.4 具体实例总结整体流程)

ABSTRACT

在本文中，我们研究了图像修复领域中的一个具有挑战性的问题，即如何开发一种一体化方法，能够从多种未知的损坏类型和程度中恢复图像。为此，我们提出了一种一体化图像修复网络（AirNet） ，该网络由两个神经模块组成，分别称为基于对比的退化编码器（CBDE）和退化引导的修复网络（DGRN） 。AirNet的主要优势有两点：它是一种一体化解决方案，能够在一个网络中恢复各种受损图像。 AirNet无需依赖损坏类型和程度的先验知识，仅使用观察到的损坏图像进行推理。这两个优势使AirNet在现实场景中具有更好的灵活性和更高的经济性，因为这些场景中损坏的先验知识难以获取，且损坏会随空间和时间变化。大量的实验结果表明，所提出的方法在四个具有挑战性的数据集上优于17种图像修复基线方法。

如图所示，现有的多退化方法通常通过将输入发送到专门设计的头部（head）并使用相应尾部（tail）的输出，来处理每种损坏。因此，这些方法需要预先知道损坏信息，以确定正确的头部和尾部。与之不同的是，我们的一体化图像修复网络（AirNet）无需依赖损坏类型和程度的先验知识，从而在现实场景中具有更好的灵活性和更高的经济性。

总结：

使用All-In-One一体化网络处理图像修复，且不需要损坏的类型和程度的先验信息，具有更好的灵活性和更高的经济性。

1 Introduction

单图像修复 的目标是从给定的退化图像（例如噪声图像、雨天图像或雾天图像）中生成视觉上高质量图像。在过去几年中，图像修复已被广泛应用于许多现实场景中，包括自动驾驶、医学成像和监控等领域。尽管在特定领域（如去噪、去模糊、去雨和去雾）中取得了显著成果，但图像修复在实践中仍面临以下障碍：一方面，由于几乎所有现有方法都只能处理特定的退化类型，因此需要了解正确的损坏（即退化）信息以选择适合的模型。一旦退化类型甚至损坏比例发生变化，模型可能会因为实际情况与模型构建或训练时所采用的先验知识不一致而表现不佳。另一方面，在复杂环境中，退化通常会发生变化 。例如，自动驾驶汽车可能会连续甚至同时遭遇雨天和雾天天气。综上所述，开发一种一体化方法，能够从多种未知的损坏类型和程度中恢复图像，具有重要的现实意义。据我们所知，这种非特定的图像修复问题迄今为止尚未得到充分研究。

为了解决上述问题，我们提出了一体化图像修复网络（AirNet），该网络由两个模块组成。具体来说，**基于对比的退化编码器（CBDE）旨在通过利用具有相同退化的图像之间的一致性和不同退化之间的不一致性来学习退化表示。在CBDE学习到的退化表示的指导下，退化引导的修复网络（DGRN）旨在恢复具有各种退化的图像。**得益于CBDE和DGRN的协作，AirNet具有两个备受期待的优点：

它提供了一种一体化解决方案，能够恢复具有不同损坏类型和比例的图像；
它无需依赖损坏类型和比例的先验知识。

值得注意的是，这种一体化解决方案与现有的所谓统一图像修复方法在以下几个方面有所不同：一方面，方法必须指定损坏类型和比例，而我们的方法则不需要。另一方面，它们通常将多种退化视为多任务学习问题，具有多个输入和输出头，其中每个输入和输出头对应于具有给定损坏比例的预定损坏。相比之下，AirNet是一个单通道网络 ，不会区分不同的损坏类型和比例，从而具有更好的灵活性和更高的经济性。

总结来说，本研究的贡献和新颖性如下：

首次提出一体化多损坏修复方法：据我们所知，AirNet可能是第一种以一体化方式从多种损坏中恢复图像的方法。由于我们的方法在修复过程中不需要任何预先的退化信息，因此它更接近现实世界的场景。
双模块工作机制：AirNet采用双模块工作机制，首先通过对比学习从观察到的图像中学习退化表示，然后利用学习到的退化表示恢复干净图像。需要指出的是，对比学习的成功在很大程度上依赖于正负样本对的构建 。在本文中，我们展示了一种新颖的方法，能够有效捕捉多退化中的固有特征。
广泛实验验证：在不失一般性的前提下，我们进行了大量实验，验证了AirNet在去噪、去雨和去雾任务中的有效性，并与17种基线方法进行了比较。

总结：

现有方法的不足：

任务单一性：传统模型如DnCNN（去噪）、DeRain（去雨）只能处理特定退化。

依赖先验知识：需预先知道退化类型（如噪声方差、雨线密度），否则性能下降。

多退化场景：真实环境可能同时存在多种退化（如雨天+雾天），传统方法需多个模型串联，成本高。

AirNet网络：是一个单通道的网络，不会区分不同的损坏类型和程度，能够处理多种退化，由两个模块组成：

CBDE（基于对比学习的退化编码器）：通过对比学习提取退化特征。利用具有相同退化的图像之间的一致性和不同退化之间的不一致性来学习退化表示。

DGRN（退化引导的修复网络）：利用CBDE提取的特征指导修复过程。

2.1 image restoration图像修复

现有的图像修复方法可以分为两类，即单一退化图像修复（IRSD）和多退化图像修复（IRMD）。

单一退化图像修复（IRSD）：IRSD旨在从仅受特定退化类型和固定损坏比例影响的退化观察中恢复干净图像。例如，作为深度去噪方法的先驱之一，DnCNN 无法处理多退化情况，甚至在训练期间未见过的噪声比例下也会失败。其他图像修复任务（如去模糊、去雨和去雾）也面临类似的挑战。最近，一些工作展示了对不同退化的某种泛化能力。然而，它们需要为不同退化训练不同的模型，这并非实践中期望的一体化解决方案。

多退化图像修复（IRMD）：最近，一些工作通过采用多输入和多输出的网络结构，将注意力转向了IRMD。例如，Li等人提出了一种一体化模型来处理多种恶劣天气退化（如雨、雾和雪），每种退化都由一个特定的编码器处理。Chen等人提出了一种基于Transformer的图像修复方法，通过多头部和多尾部结构处理多退化。与我们的方法最相似的可能，但该方法仍需要了解输入的某些先验信息（如噪声比例和JPEG质量），以元学习方式参数化网络。总结来说，尽管上述方法已向IRMD迈出了步伐，但它们仍需要预先知道退化信息，以便将输入发送到正确的头部或生成元信息。

总结：

image restoration图像修复分为：

单退化修复 ：针对单一退化类型和固定退化程度的修复方法。

局限性：如果退化类型或程度变化，模型性能会显著下降。无法处理混合退化。

DnCNN：无法处理多退化情况，甚至在训练期间未见过的噪声比例下也会失败。

多退化修复 ：处理多种退化类型和动态退化程度。

局限性：需要通过元学习预先知道退化信息，以便将输入发送到正确的头部或生成元信息。

多分支网络：Li提出的一体化天气修复模型，为每种天气设计独立编码器。

多输入输出头：Chen提出的Transformer图像修复模型，多头部和多尾部结构处理多退化。

2.2 contrastive learning对比学习

对比学习是最先进的无监督表示学习方法，旨在最大化正样本对之间的相似性 ，同时最小化负样本对的相似性，其中正负样本对通过数据增强获得。近年来，一些研究展示了对比学习在图像修复中的有效性。值得注意的是，尽管DASR和我们的AirNet 都利用对比学习来捕捉退化信息，但它们在以下几个方面存在显著差异：

正负样本对的定义不同：对比学习的成功在很大程度上依赖于正负样本对的构建。
任务不同：DASR 是专门为图像超分辨率设计的，而 AirNet 则是以一体化方式处理多退化问题。
对先验信息的需求不同：尽管任务不同，DASR 需要指定图像超分辨率的尺度，而 AirNet 则不需要任何退化参数。

总结：

DASR：用于图像超分辨率，需指定退化参数。在正负样本定义、目标任务以及先验信息需求上与AirNet不同。

AirNet：无需指定退化参数，通过局部图像块构建正负样本，解决多退化特征提取问题。

3 The Proposed Method

AirNet架构：

（a）一体化图像恢复网络（AirNet）：包括输入退化图像、基于对比的退化编码器（CBDE）和退化引导的修复网络（DGRN）
（b）基于对比度的退化编码器（CBDE）：通过对比学习从退化图像中提取退化表示，利用正负样本对捕捉退化特征。
（c）退化引导组（DGG）：这些组在修复网络中根据CBDE提供的退化表示，动态调整修复过程。
（d）退化引导模块（DEM）：该模块是DGG的核心组件，通过融合退化信息和图像特征，指导修复网络生成高质量图像。

该方法由基于对比的退化编码器（CBDE, fC(·) ）和退化引导的修复网络（DGRN, fD(·)）组成

对于给定的退化图像 x，AirNet首先将其输入 fC(·)，以学习潜在的退化表示 z = fC(x)。然后，x 和 z 进一步通过 fD(·)，以获得修复后的图像 y` = fD(x, z)。在不失一般性的前提下，本文以三种常见的退化类型（即噪声、雾和雨）为例进行展示。接下来，我们将首先介绍整体损失函数，然后详细阐述两个子网络及其对应的损失。

3.1 The Objective Function

为了从观察到的图像中去除损坏，我们提出了以下目标函数：其中：LRec 是重建损失，用于衡量真实值 y 与修复后的干净图像 y·之间的差异；Lcl 是对比损失，专门用于优化基于对比的退化编码器（CBDE）。
L = L R e c + L c l ( 1 ) \mathcal{L} = \mathcal{L}{Rec} + \mathcal{L}{cl}\ \ \ \ \ \ \ \ \ (1) L=LRec+Lcl (1)

对于给定的退化图像 x，LRec 旨在通过AirNet最小化 y 与修复后的干净图像 y` = f(x) 之间的L1距离。数学表达式为：其中，T 是图像 x 的像素总数，i 是像素索引。
L R e c = 1 T ∑ i = 1 T ∣ f ( x i ) − y i ∣ ( 2 ) \mathcal{L}{Rec} = \frac{1}{T} \sum{i=1}^{T} |f(x_i) - y_i|\ \ \ \ \ \ \ \ \ (2) LRec=T1i=1∑T∣f(xi)−yi∣ (2)

与 LRec 不同，Lcl 是CBDE的特定损失，旨在学习不同退化的表示，同时保留它们之间的可能差异。

3.2 Contrastive-Based Degradation Encoder（CBDE）

结构解析：经过6个连续的卷积层，逐层提取图像特征，最终经过一个损失函数L_cl，输出损坏特征z

多层卷积：

浅层卷积（前几层）：捕捉低级特征（如边缘、纹理、噪声颗粒）。

深层卷积（后几层）：捕捉高级特征（如雨线结构、雾的全局分布）。

参数共享：所有卷积层权重共享（类似ResNet），增强泛化能力。

全连接层MLP：

将特征映射到对比学习空间

嵌入层L_cl：

将最后一层卷积的输出通过全连接层映射到低维空间。

通过正样本对和负样本对，让正样本在嵌入空间中靠近，负样本远离。

空间保留：

采用CBDE的第一层的输出作为 z，z 是一个张量而非向量，因此可以保留上下文信息

不同退化类型对应不同的z分布

基于对比的退化编码器旨在从输入 x 中提取潜在的退化表示 z。为了使AirNet能够处理多种未知的退化，z 应具备以下两个特性：

1、适应性 ：z 应能够适应不同的退化。换句话说，对于具有不同退化的输入，即使图像内容相同，其对应的 z 也应不同。为此，我们利用对比学习，通过最大化具有相同退化的输入（即正样本）之间的一致性，同时最小化不同退化之间的一致性（即负样本）来学习 z。具体来说，对于一个退化表示 q，k+ 和 k−i 分别是其对应的正样本和负样本。然后，损失函数 L_cl 可以重新表示为：其中，τ 是一个温度超参数，K 表示负样本的数量， exp指数函数用于放大差异。
L c l = − log ⁡ exp ⁡ ( q ⋅ k + / τ ) ∑ i = 0 K exp ⁡ ( q ⋅ k i − / τ ) ( 3 ) \mathcal{L}{cl} = -\log \frac{\exp(q \cdot k^+ / \tau)}{\sum{i=0}^K \exp(q \cdot k_i^- / \tau)}\ \ \ \ \ \ \ \ \ (3) Lcl=−log∑i=0Kexp(q⋅ki−/τ)exp(q⋅k+/τ) (3)

解读公式：
L c l = − log ⁡ exp ⁡ ( 正样本对相似度 ) ∑ i = 0 K exp ⁡ ( 正样本和负样本的相似度 ) ( 3 ) \mathcal{L}{cl} = -\log \frac{\exp(正样本对相似度)}{\sum{i=0}^K \exp(正样本和负样本的相似度)}\ \ \ \ \ \ \ \ \ (3) Lcl=−log∑i=0Kexp(正样本和负样本的相似度)exp(正样本对相似度) (3)

具体流程：对于给定的输入 x，我们从中随机裁剪两个图像块，分别命名为 x_q 和 x_k+。由于同一图像中的退化应保持一致，我们将 x_q 和 x_k+ 视为正样本对。相反，来自其他图像的图像块被视为负样本 x_k−。通过这些样本对，我们将其输入CBDE，获得相应的中间表示 v_q、v_k+ 和 v_k−，然后将这些表示输入一个两层MLP（全连接层），得到 q、k+ 和 k−。为了学习一个能够保留不同退化差异的退化空间，我们使用公式(3)。

具体流程：

对于输入图像x，随机裁剪两个图像块x_q和x_k+,将x_q和x_k+设为正样本对（来自同一张图像），将其他图片的随机图像块设置为x_k-

经过CBDE的多层卷积提取块的特征后得到三个向量v_q、v_k+和v_k-

通过一个小型MLP将特征映射到对比学习空间，得到 q、k+和k-

带入L_cl损失函数，得到输出损失z（正样本对相似度尽可能高，负样本对的相似度尽可能低）

得益于基于对比学习的解决方案，学习到的退化表示具有以下优势：

它不依赖于显式定义损坏图像与干净图像之间关系的数学模型，因此避免了对此类先验知识的依赖，其性能与确切定义无关。特别是在退化关系未知或不精确的情况下（如混合多退化或自然退化，例如雨和雾），我们的方法更具竞争力。
它将不同退化统一到同一子空间中，同时保留它们的差异。相比之下，现有的单一/多退化方法从不同子空间学习不同退化的表示，从而失去了退化之间的可比性和关系。例如，与雾退化相比，损坏率为0.1和0.2的高斯噪声在潜在空间中应更接近。显然，我们的对比退化表示能够具备这一特性，这对于处理多退化数据至关重要。

2、空间结构保留 ：z 应尽可能保留空间结构，以支持图像修复。为此，我们采用CBDE的第一层（而非最后一层）的输出作为 z。换句话说，z 是一个张量而非向量，因此可以保留上下文信息。此外，由于 z 与输入和中间层输出的维度相同，它可以灵活地与其他特征连接，并与现有神经网络（如DCN和SFT）兼容。（不直接使用最终的特征向量，而是取编码器中间层的特征图（例如第3层的输出），保留空间信息。）

CBDE模块总结：

目标：通过对比学习从退化的图片中分析出退化类型

步骤：

将退化图片随机切成多个小块

通过对比学习进行处理

正样本：同一张图的不同小块（比如雾天图的两块小区域），它们有相同的退化特征。

负样本：其他图的块（比如噪声图或雨天的块），代表不同的退化特征。

让网络学会"同一特征的块更相似，不同特征的块差异大"。

结果：网络输出退化特征，这个特征会告诉DGRT如何修复。

3.3 Degradation-Guided Restoration Network（DGRN）

在通过CBDE学习到退化表示 z 后，退化引导的修复网络（DGRN）用于从具有未知退化的输入中恢复干净图像。DGRN由五个退化引导组（DGG）构成，每个DGG进一步包含五个退化引导块（DGB）。在每个DGB中，采用两个退化引导模块（DGM），在 z 的指导下恢复干净图像。

（c）退化引导组（DGG）：这些组在修复网络中根据CBDE提供的退化表示，动态调整修复过程。
（d）退化引导模块（DGM）：该模块是DGG的核心组件，通过融合退化信息和图像特征，指导修复网络生成高质量图像。

输入图像 x 分两路处理：

主路径：进入DGRN网络（多层DGG模块），逐步修复图像。

由多个退化引导组（DGG）堆叠，每个DGG包含多个退化引导块（DGB）。

每个DGB内部通过退化引导模块（DGM）实现动态修复。
> - 跳跃连接：不同层特征通过concat或summation融合（保留细节）

辅助路径：进入CBDE模块，提取损坏特征 z（用于动态引导修复）。

如上所述，DGM 是DGRN的基本模块，由一个可变形卷积（DCN）层和一个空间特征变换（SFT）层组成。数学表达式为：Φm,b,g_DGM 表示第 g 个DGG中第 b 个DGB的第 m 个DGM，Φm,b,g_DGM 表示第 g 个DGG中第 b 个DGB的第 m 个DGM，ΦDCN 和 ΦSFT 分别是DCN层和SFT层。
F D G M m , b , g = Φ D G M m , b , g ( F m − 1 , b , g , z ) ( 4 ) F_{DGM}^{m,b,g} = \Phi_{DGM}^{m,b,g}(F^{m-1,b,g}, z)\ \ \ \ \ \ \ \ \ (4) FDGMm,b,g=ΦDGMm,b,g(Fm−1,b,g,z) (4)

= Φ D C N m , b , g ( F m − 1 , b , g ∣ z ) + Φ S F T m , b , g ( F m − 1 , b , g ∣ z ) = \Phi_{DCN}^{m,b,g}(F^{m-1,b,g}|z) + \Phi_{SFT}^{m,b,g}(F^{m-1,b,g}|z) =ΦDCNm,b,g(Fm−1,b,g∣z)+ΦSFTm,b,g(Fm−1,b,g∣z)

DGM的设计旨在实现以下两个目标：

1、自适应不同退化 ：由于不同退化需要不同的感受野，模型应能够适应不同退化 。为此，DGM采用可变形卷积（DCN），它可以根据调制偏移量和掩码动态调整感受野。具体来说，给定一个具有 K 个采样位置的可变形卷积核，wk 和 pk ∈ {(−1, −1), (−1, 0) , (1, 1)} 分别表示第 k 个位置的权重和预定义偏移量，则DGM中使用的DCN层定义为：其中， F{(m-1,b,g)} ( p) 表示特征图 F^{(m-1,b,g)} 在位置 p 处的特征，∆pk 和 ∆mk 分别是第 k 个位置的可学习偏移量和调制标量。

在我们的实现中，AirNet使用一个卷积层 conv(·) 来学习 ∆pk 和 ∆mk，其输入是 F^{(m-1,b,g)} 和 z 的拼接。即：其中，concat(·) 是拼接操作符。

( Δ p k , Δ m k ) = conv ( concat ( F m − 1 , b , g , z ) ) ( 6 ) (\Delta p_k, \Delta m_k) = \text{conv}(\text{concat}(F^{m-1, b, g}, z)) \ \ \ \ \ \ \ \ \ (6) (Δpk,Δmk)=conv(concat(Fm−1,b,g,z)) (6)

DCN可变形卷积总结：

输入：当前层特征 F^{(m-1,b,g)} +损失特征z

过程：

生成偏移量和调制变量

( Δ p k , Δ m k ) = conv ( concat ( F m − 1 , b , g , z ) ) (\Delta p_k, \Delta m_k) = \text{conv}(\text{concat}(F^{m-1, b, g}, z)) (Δpk,Δmk)=conv(concat(Fm−1,b,g,z))

公式解释：特征图 F 和损失 z concat后通过一个Conv来生成偏移量 ∆pk 和调制变量 ∆mk。其中：Conv：卷积层预测每个卷积核位置的偏移量。

在雾区使用大偏移卷积增强全局对比度，在雨区用小偏移卷积追踪雨线。

动态卷积：

Φ D C N m , b , g ( F m − 1 , b , g ∣ z ) = ∑ k = 1 K w k ⋅ F m − 1 , b , g ( p + p k + Δ p k ) ⋅ Δ m k \Phi_{DCN}^{m,b,g}(F^{m-1,b,g}|z) = \sum_{k=1}^{K} w_k \cdot F^{m-1,b,g}(p + p_k + \Delta p_k) \cdot \Delta m_k ΦDCNm,b,g(Fm−1,b,g∣z)=k=1∑Kwk⋅Fm−1,b,g(p+pk+Δpk)⋅Δmk

公式解释：F在第k个位置p处的特征与第k个位置权重和第k个位置调制变量的乘积。其中：p是原卷积核位置，pk是第k个位置的预定偏移量，Δp_k是第k个位置的偏移量，wk表示第k个位置的权重，∆mk是第k个位置的调制变量。

作用：根据损坏特征 z 调整卷积核采样位置，聚焦关键区域（如雨线、雾区），让模型适应不同的退化。

2、缩小分布差距 ：由于不同退化图像具有不同的潜在分布，所提出的模型应能够缩小分布差距，以增强多退化修复能力 。为此，DGM采用**空间特征变换（SFT）**作为组件，根据 z 调整特征 F 的分布，即：
F S F T m , b , g = Φ S F T m , b , g ( F m − 1 , b , g ∣ z ) ( 7 ) F_{SFT}^{m,b,g} = \Phi_{SFT}^{m,b,g}(F^{m-1,b,g}|z) \ \ \ \ \ \ \ \ \ (7) FSFTm,b,g=ΦSFTm,b,g(Fm−1,b,g∣z) (7)

具体来说，SFT层旨在学习一个映射函数 M，为给定的 z 输出调制参数（γ 和 β）。然后，SFT通过使用 γ 和 β 对特征 Fm−1,b,g 进行仿射变换。数学表达式为：其中，⊙ 表示逐元素乘法，(γ, β) = M(z)。在我们的实验中，我们使用两个卷积层实现 M。
F S F T m , b , g = Φ S F T m , b , g ( F m − 1 , b , g ∣ γ , β ) = γ ⊙ F m − 1 , b , g + β ( 8 ) F_{SFT}^{m,b,g} = \Phi_{SFT}^{m,b,g}(F^{m-1,b,g}|\gamma, \beta) = \gamma \odot F^{m-1,b,g} + \beta \ \ \ \ \ \ \ \ \ (8) FSFTm,b,g=ΦSFTm,b,g(Fm−1,b,g∣γ,β)=γ⊙Fm−1,b,g+β (8)

SFT空间特征变换：

输入：DCN输出 F_{\text{dcn}} + 损坏特征 z。

操作：

生成变换参数：

MLP：小型全连接网络，生成逐像素的缩放因子 γ 和平移因子 β。

特征变换：

γ ⊙ F m − 1 , b , g + β \gamma \odot F^{m-1,b,g} + \beta γ⊙Fm−1,b,g+β

公式说明：逐像素的缩放因子 γ 与F进行multiplication后与平移因子 β进行逐元素加法。其中：⊙：逐元素乘法，+：逐元素加法。

对雾区增大γ以增强对比度，对雨区减小β以抑制亮度。

作用：根据损坏类型调整特征强度（如增强雾区对比度，抑制噪声）。

最终输出：

残差连接：保留原始特征，避免信息丢失。
多级DGG协作（对应图中多个DGG模块）多尺度特征融合

渐进修复：

浅层DGG：修复大范围损坏（如全局雾霾）。

深层DGG：修复细节（如雨线、噪声）。

公式表达：

F^g：第g个DGG组的输出，最终 F^G = y'。
DGRN模块总结：

可变形卷积（DCN） ：调整感受野，处理全局模糊

普通卷积：像固定的筛子，只能捕捉固定模式的损坏（比如固定大小的噪声点）。

可变形卷积：筛子的形状能根据"损坏特征"自动调整：

如果是噪声，筛子会缩小，专注局部细节。

如果是雾，筛子会扩大，处理全局模糊。

原理：根据"损坏特征"预测每个位置的偏移量（比如往左移一点、往上移一点），动态调整卷积核的位置。

类比：就像用可调节的放大镜看图片------看细节时调近，看整体时调远。

空间特征变换（SFT） ：增强对比度，恢复颜色

问题：不同损坏会导致特征分布不同（比如雾天图整体发灰，雨天图有雨线）。

解决方案：用"损坏特征"生成一组参数，对中间特征做"缩放"和"平移"：如果是雾天，放大对比度，让颜色更鲜明。如果是噪声，降低高频信息，平滑噪点。

公式简化：修复后的特征 = 缩放系数 × 原特征 + 平移系数（系数由"损坏特征"决定）

类比：类似手机滤镜，根据图片问题自动调亮度、对比度。

3.4 具体实例总结整体流程

具体实例：去雾+去雨

CBDE提取z：

z 同时编码雾（低频模糊）和雨（高频条纹）的特征。

DGM动态调整：

DCN：在雾区使用大偏移卷积增强全局对比度，在雨区用小偏移卷积追踪雨线。

SFT：对雾区增大γ以增强对比度，对雨区减小β以抑制亮度。

多级输出：

经过多个DGG组后，雾和雨被逐步去除，最终输出清晰图像 y'

核心流程：CBDE提取损坏特征z → DGRN通过多级DGG动态修复 → DGM内部DCN+SFT实现局部自适应。