Bidomain Modeling Paradigm for Pansharpening
（泛锐化的Bidomain建模范式）
泛锐化是一个具有挑战性的低层次视觉任务，其目的是学习光谱信息和空间细节之间的互补表示。尽管取得了显着的进步，现有的基于深度神经网络（DNN）的泛锐化算法仍然面临着共同的局限性。1)这些方法很少考虑不同光谱带的局部特异性; 2）它们通常在空间域中提取全局细节，这忽略了与任务相关的退化，例如，MS图像的下采样过程中，也受到有限的感受野。在这项工作中，我们提出了一种新的bidomain建模范式pansharpening问题（称为BiMPan），它既考虑到局部光谱特异性和全局空间细节 。更具体地说，我们首先为每个光谱带定制专用的源判别自适应卷积（SDAConv），而不是像以前的工作那样在所有波段上共享相同的内核。然后，我们设计了一种新的傅立叶全局建模模块（FGMM），它能够包含全局信息，同时有利于解开图像退化。通过将这两个功能设计中的频带感知局部特征和傅立叶全局细节相结合，我们可以融合纹理丰富而视觉上令人愉悦的高分辨率MS图像。
INTRODUCTION
卫星传感器的快速发展促进了多光谱图像在军事融合系统、变化检测、制图服务等方面的广泛应用。值得注意的是，高分辨率的空间细节和丰富的光谱信息相对于MS图像在实际应用中所期望的。然而，现有的遥感器，如World-View 3（WV 3）和QuickBird（QB），由于其物理限制，不能直接捕获高空间分辨率的MS图像。相反，他们经常观察成对的低分辨率MS图像和高分辨率全色（PAN）图像。因此，泛锐化技术被开发用于通过在空间域中超分辨低分辨率MS图像来产生高分辨率MS图像，条件是成对的PAN图像。换句话说，全色锐化尝试从PAN图像借用空间信息来增强MS图像的空间分辨率。
迄今为止，研究界已经提出了许多pansharpening方法。它们可以大致分为模型驱动方法（也称为传统方法），包括基于组件替换（CS）的方法，基于多分辨率分析（MRA）的方法，基于变分优化（VO）的方法和基于深度神经网络（DNN）的方法。随着深度学习在各种视觉任务中的成功，例如对象检测，图像分割和单图像超分辨率，已经提出了主要基于卷积神经网络（CNN）的爆炸性DNN方法用于泛锐化。开创性的基于DNN的泛锐化方法仅由三层卷积运算组成，其灵感来自代表性的单图像超分辨率网络SRCNN。之后，设计了更复杂的网络架构，以提高泛锐化的非线性表示能力。现有的泛锐化方法虽然取得了显著的进步，但仍存在一定的局限性。首先，他们很少关注每个光谱波段的局部特异性，而根据我们的观察，波段之间的局部差异是明显的，不应被忽视。其次，大多数基于DNN的泛锐化方法通常在空间域中进行细节提取，如图1（a）所示，由于卷积运算的属性，这不可避免地受到有限的感受野的影响。此外，MS图像的下采样过程通常不可避免地导致高频信息的丢失，这与频域紧密耦合。考虑到上述事实，我们打算开发一个新的建模框架，该框架可以考虑每个光谱带的局部特异性和全局上下文细节，如图1（b）所示。
贡献
我们首先从4波段QB数据集中选取一个高分辨率的例子来展示不同光谱波段的差异和联系。图2（a）显示了MS图像和PAN图像各谱带的像素值，我们可以清楚地看到各谱带的像素分布变化很大。这一观察揭示了与pansharpening相关的一个重要事实，不同波段的局部空间信息是普遍不同的。
虽然先前的工作尝试设计内容自适应卷积核来区别处理输入图像的不同区域，但它们通常在所有频带上共享相同的自适应核 ，这忽略了每个频带的局部特异性。此外，由Sobel算子滤波的MS图像的梯度统计与PAN图像的梯度统计相似，如图2（b）所示。这意味着所有波段和PAN图像之间的相关性在全局细节上是相似的。换句话说，理想的融合高分辨率MS（HRMS）图像应与PAN图像在全局细节方面尽可能一致 。目前，泛锐化研究界通常采用多尺度网络或基于变换的方法来提取空间域中的全局结构。然而，他们遭受有限的感受野，并忽略了与退化过程相关的图像先验。
基于以上分析，我们考虑为每个频段定制专门的自适应核(即源区分自适应卷积，简称SDAConv) ，而不是在所有频段共享相同的核。所提出的SDAConv能够聚焦于每个波段的局部特异性，这有利于生成更逼真和内容丰富的HRMS图像。此外，我们打算利用傅立叶域全局建模能力和丰富的图像先验的性质提取全局细节 。具体来说，我们借鉴现有全局建模范式的思想，提出了一种新的傅立叶全局建模模块（FGMM），它巧妙地将傅立叶域的这些先天优势融入到全局建模规则中。通过将每个光谱带的局部特征和全局细节相结合，我们可以预测出所需的HRMS图像。总之，这项工作的贡献可以概括为以下几个方面：
1）我们提出了一种新的泛锐化双域模型范例，它通过两个功能设计实现了HRMS图像的局部-全局表示学习，即，频带感知局部特异性建模分支和傅立叶全局细节重建分支。
2）与以前的工作不同，我们为每个光谱带定制了专门的自适应卷积核，因为各个光谱带之间存在局部差异，而不是在所有波段补丁中共享相同的核。此外，借鉴现有全局建模范式的思想，提出了一种新的傅立叶全局建模模块，巧妙地将傅立叶域的固有优势融入到全局建模规则中。
RELATEDWORKS
Adaptive Convolution Techniques. 标准卷积受到其固有的空间不变性的影响，这导致在一些像素级视觉任务中性能有限，例如，单个图像超分辨率和全色锐化。近年来，自适应卷积技术由于其灵活性在计算机视觉研究界引起了广泛关注，其中根据输入内容调整采样位置和/或核值。对于全色锐化任务，一些代表性的自适应卷积技术也已被提出，并显示出良好的性能相比，标准卷积。在[14]中，研究人员首先设计了一种新的自适应卷积，包括局部内容和全局谐波基，称为LAGConv ，它可以有效地利用局部特异性并整合所涉及图像块的全局信息。受LAGConv的启发，Lu等人提出了一种由几个自适应特征学习块组成的轻量级泛锐化网络。在[23]中，考虑输入源图像的独特属性来设计所谓的源自适应判别核，其由两个分量组成，即，从纹理丰富的PAN图像导出的空间核和从MS图像导出的光谱核。为了解决标准卷积运算的计算成本，Chen 等人设计了一种可解释的跨度策略来生成卷积核，它只学习两个导航核，然后将它们扩展到所有通道。
Fourier Based DNN Networks. 在低水平视觉任务中，现有的大多数基于DNN的方法都是为了学习空间域中输入和输出之间的非线性映射，这不可避免地受到有限感受野的影响。近年来，傅立叶域因其独特的图像先验和全局建模属性而备受关注。在[25]中，研究人员试图解决傅立叶域中的微光图像增强问题。Mao等人在级联网络中嵌入一种新颖的Res FFT-RELU块用于图像去模糊，该块学习空间频率双域表示以提取核级和像素级特征。同样，[27]和[28]采用类似的方法来处理相关问题。在文[29]中，作者首先从傅立叶域的角度探讨了常用的空间降采样/上采样操作，并设计了一种即插即用的傅立叶UP算子，该算子能够对全局依赖关系进行建模，从而打破了空间算子的普遍局限性。在全色锐化方面，已经提出了结合空频双域信息重建HRMS图像的一些代表性工作。
METHODOLOGY
Overall Architecture
我们的主要目标是探索一种有效的建模范式，用于基于上述事实的全色锐化，它可以产生纹理丰富，同时视觉上令人愉悦的HRMS图像。为此，我们试图考虑到每个光谱带的局部特异性和全局上下文细节。具体而言，我们设计了两个核心设计，即，频带感知局部特异性建模分支和傅立叶全局细节重建分支。我们首先介绍了我们的框架的总体管道，然后我们详细介绍了两个功能分支的详细结构。
Overall Pipeline. 
图3概述了我们的方法的整体架构。对于上分支，采用c个平行子分支来关注每个频带的局部特异性，其中c表示谱带的数目。给定一个上采样的MS图像M ∈ R H × W × c R^{H×W×c} RH×W×c，我们首先将其分成c个单波段。然后，我们将每个波段与一个PAN图像P配对发送到相应的子分支以提取其局部特征。具体来说，我们先应用卷积层以及ReLU函数来提取输入波段和PAN图像的浅层特征。之后，我们将获得的波段特征 F s p e F^{spe} Fspe~i~和PAN特征 F s p a F^{spa} Fspa 连接起来 作为相应子分支的输入数据，以提取局部信息 。最后，对所有子分支的输出进行综合，得到局部特征 。
此外，我们设计了一个新的傅立叶全局建模模块（FGMM）来构造下面的分支。对于一对输入图像，即，上采样的MS图像M和PAN图像P，我们首先沿着光谱维度复制P。然后，通过从P中减去每个频带来获得M的高频内容，其被用作重建全局细节的输入数据 。最后，我们将获得的局部特征和全局细节相结合，并将上采样的MS图像相加以产生超分辨率MS图像。
Band-Aware Local Specificity Modeling Branch
Source-Discriminative Adaptive Convolution.
与现有的自适应卷积技术不同，现有的自适应卷积技术通常使用包括所有频带的特定图像块来生成内核。为了探索每个频带的局部唯一性，我们设计了一种新的自适应卷积操作，表示为源判别自适应卷积（SDAConv），其内核是根据与PAN图像耦合的每个MS频带的局部补丁生成的，如图4所示。
不失一般性，我们以一个单一的波段为例，介绍核生成过程中提出的SDAConv。实际上，核生成过程旨在获得权重矩阵W ∈ R k × k × C i n R^{k×k×C~in~} Rk×k×C in ，其中k和C~in~分别表示与输入局部块相对应的通道的大小和数量。具体地说，给定一个输入补丁k×k×C~in~，它首先通过一个层卷积层投影到低层特征。接下来，我们应用空间调制和光谱调制来处理提取的浅层特征。然后，我们进一步将这两个模块的输出联合以生成期望权重矩阵 W~Ω~，其可以被说明如下：
之后，我们在一组候选核K ∈ R C o u t × k × k × C i n R^{C~out~×k×k×C~in~} RC out ×k×k×C in 上执行该权重矩阵W~Ω~，以生成自适应核。最后，我们可以将获得的自适应卷积核应用于输入补丁的特征图。简而言之，它们可以用公式表示如下：
Band-aware Local Specificity Modeling Branch.
我们的波段感知局部特异性建模（BLSM）分支由c个子分支组成，其中c是对应于MS图像的谱带的数目。所有子分支采用相同的结构，该结构包含多个级联的SDAConv块，但是由于源输入的不同而不共享参数 ，即，不同谱带的质谱图像。此外，所有分支机构的成果通过合并模块进行整合。整个过程可以用数学表示如下：
Fourier Global Detail Reconstruction Branch
在全色锐化任务中，提取精确的全局细节是一个流行而又具有挑战性的问题。大多数现有的方法通常在空间域中解决这个问题，这忽略了MS图像的退化 ，并且需要很高的计算成本。近年来，傅立叶域得到了研究界的广泛关注。一方面，傅立叶变换能够捕获关于MS图像的下采样过程的图像先验。另一方面，傅立叶域由于其固有的全局属性而将这种空间中的每个像素与所有空间像素相关联。因此，我们试图从现有的全局建模范式中借用这些想法，例如，[31-33]，探索在傅立叶域进行相似设计，以重构全局细节。
Preliminary.
给定一个图像x∈ R H × W × C R^{H × W×C} RH×W×C，我们可以使用傅里叶变换F（·）将其转换为傅里叶空间中的复分量，其数学表示如下：
其中u和v表示傅立叶空间中的坐标。反过来，我们可以使用傅里叶逆变换 F − 1 F^{−1} F−1(·)来实现从傅立叶域到空间域的变换。此外，傅里叶空间中的𝑥的幅度和相位可以使用以下公式计算：
Structure of the Fourier Global Modeling Module.
图5给出了所提出的傅立叶全局建模模块（FGMM）的详细架构，其由两个组件组成，即，傅立叶空间单元和傅立叶光谱单元。
Fourier Spatial Unit.
给定一个输入特征X ∈ R H × W × C i n R^{H×W×C~in~} RH×W×C in ，它将并行地通过两条路径，即，傅立叶运算和空间运算。就前者而言，首先进行傅立叶变换如下：
其中，X~R~和X~I~分别表示真实的部分和虚数部分。之后，我们采用一个3 × 3的深度卷积层与ReLU激活函数相结合来整合空间信息，可以表示为：
其中，DW（·）表示深度卷积。然后，我们通过逆傅立叶变换将获得的S~R~和S~I~变换回空间域，如下所示：
此外，我们还采用了一个空间路径来补充空间结构信息，其中输入特征直接输入到一个3 × 3的深度卷积层，然后是ReLU激活函数，可以写为：
接下来，我们通过高效的半实例归一化（HIN）块[34]融合傅立叶特征Z~F~和空间特征Z~S~，表示如下：
𝐻~𝑆~(·)表示使用HIN块集成空间信息，U是输出特征。
Fourier Spectral Unit.
与傅立叶空间积分类似，我们采用类似的设计，即，傅里叶调制路径和空间调制路径，实现傅里叶频谱调整，其中3 × 3深度卷积被逐点卷积代替。首先，利用傅里叶变换将来自傅里叶空间积分的输出分量U分解为真实的分量和虚分量，即，𝑈~𝑅~和 𝑈~𝐼~。然后，我们采用逐点卷积层，然后使用ReLU非线性激活来执行傅立叶通道调整。具体而言，该程序可表述如下：
其中，MLP（·）表示逐点卷积，C~F~是傅立叶通道调整的输出。
之后，我们通过HIN模块整合频率路径和空间路径的结果，以输出傅立叶全局建模模块（FGMM）的最终结果，其数学表达式如下：
其中，C~S~是来自空间信道调制的输出。𝐻~𝐶~(·)表示使用HIN块调整信道信息，而Out是所提出的FGMM的结果。