合成孔径雷达与光学图像像素级融合技术：综述
Samadhan C. Kulkarni,*+, Priti P. Rege*
摘要
图像融合是将两幅或多幅图像组合成一幅单一图像的过程，该图像信息更丰富，因此从解译的角度来看更有用。随着捕获地球不同电磁波谱部分能量的各种遥感卫星的快速发展，来自不同卫星捕获区域的互补信息得以可用。这些图像的融合在不同遥感应用中比单传感器图像数据更有帮助。本文讨论了融合合成孔径雷达（SAR）和光学图像的必要性。对用于SAR和光学图像融合的各种像素级方法进行了综述。简要介绍了用于评估融合算法性能的质量指标，并针对RISAT-1 SAR数据和Resourcesat-2多光谱数据的融合，给出了基本分量替换和小波基融合方法的视觉和定量评估。最后，本综述得出结论，由于具有改进分辨率的各种微波和光学传感器不断发射，SAR和光学图像的融合仍有进一步研究的空间。
关键词: SAR图像；光学图像；图像融合；质量指标
1 引言
随着各个领域多种类型传感器的快速发展，研究领域已可获得海量数据。遥感领域使用的成像传感器也是如此。因此，需要从各种图像中收集信息并将其组合成一幅单一图像，以便从中提取额外的信息。图像融合满足了这一需求。形式上，图像融合是使用某种算法将两幅或多幅不同的图像组合成一幅新图像[77; 120]。来自不同图像的信息被组合起来，使得图像更具意义，并且更适合视觉感知和计算机处理。来自不同传感器的图像必然携带不同的信息，这些信息的整合比从单个传感器获得的信息更有用。这些融合信息可用于规划和决策。
环绕地球的各种卫星捕获电磁波谱不同部分的数据，因此可获取不同的遥感数据产品，即多光谱（MS）、高光谱（HS）、全色（PAN）和合成孔径雷达（SAR）图像。这些数据产品传达了关于观测地球区域的不同信息，可用于不同的应用，如作物产量预测、森林覆盖测绘、天气预报、流域开发、城市扩张监测、各种城市测绘和灾害管理[42; 112; 50]。如果从多个传感器获取信息并组合成一幅单一图像，遥感应用中的决策准确性将得到提高。其次，由于卫星平台上的技术限制，例如可用存储空间较少以及与地面站通信的带宽有限，星载传感器无法捕获具有高光谱和高空间分辨率的图像。融合由不同传感器遥感获取的图像，是生成一种在空间和光谱分辨率上均很丰富，并且地表信息也很丰富的合成图像的有效工具[112; 50]。
1.1 SAR/光学图像及融合的必要性
本小节描述了本文所需的基础信息。包括SAR图像、光学图像的信息，以及SAR和光学图像融合的必要性。
1.1.1 SAR图像
合成孔径雷达是一种主动微波传感器，由于其波长较长，其辐射可以穿透云层、雾霾、灰尘和除强降雨外的所有其他气候条件。由于这一特性，SAR数据在几乎所有天气和环境条件下以及所有时间都可用。雷达视场下的区域通过微波辐射以相对于传感器平台运动方向成直角的方倾斜照射，天线接收来自各种物体的部分后向散射能量。
来自各种物体的后向散射能量取决于表面粗糙度、水分含量和各种物体的介电特性[103]。它主要表征地表各种物体的结构特性，因此能够基于其表面特征识别图像中的不同物体，这导致了SAR图像在空间信息上更丰富。
1.1.2 光学图像
光学传感器是被动传感器，接收从地球物体反射的部分太阳光照。这些传感器覆盖电磁波谱的紫外线、可见光和红外部分。基于光谱分辨率，光学传感器分为全色、多光谱和高光谱传感器。全色传感器对宽波段的波长敏感，覆盖电磁波谱的可见光和近红外部分。这些传感器的空间分辨率高，但光谱分辨率差。多光谱传感器对特定波长敏感，对电磁波谱中从可见光波段到近红外波段的不同波长波段有不同的响应。成像区域上的目标根据其多光谱反射率进行区分，这提高了这些图像的光谱分辨率。由于多光谱传感器是被动的，这些传感器的瞬时视场较大，以便接收到足够的能量。由于这一事实，多光谱图像的空间分辨率相对较低。传感器平台上有限的存储空间以及与地面站通信的有限带宽也对多光谱图像的空间分辨率造成了限制。由于较高的光谱分辨率，多光谱图像的可解译性更好。高光谱传感器对非常窄的波长波段敏感，具有优异的光谱分辨率。这些传感器可以有数百个光谱波段，并能提供电磁波谱可见光和近红外部分的近连续探测[112, 50]。
1.1.3 SAR与光学图像融合的必要性
尽管SAR图像在所有类型的天气条件下和所有时间都可用，并且富含空间信息，但它不包含对许多遥感应用至关重要的光谱信息。另一方面，其可解译性差，并且受到斑点噪声的干扰[103]。光学/多光谱图像依赖于从地球物体反射的太阳光照。两个结构不同的物体可能由于它们的光谱响应在光学图像中显得相同，而这可以在SAR图像中区分开来。因此，SAR和光学图像提供了关于成像区域的互补信息，这些图像的融合有助于合成生成一幅在空间和光谱信息上都丰富的图像。分析融合图像有助于更好地理解和解译成像区域[120, 112, 50]。
图1展示了一对HV极化的SAR图像和多光谱图像的假彩色合成图，以说明它们各自的特性。这对图像属于印度奥里萨邦地区（纬度：20至21；经度：84至85）。在本文后续章节中，使用同一组图像进行预处理并试验一些SAR-光学图像融合技术。对这两幅图像的视觉检查表明，它们都提供了互补信息。然而，SAR图像受到斑点噪声的严重干扰且难以解译。
SAR和光学图像之间空间分辨率的变化以及显著的光谱失配可能导致融合产品中出现显著的空间和光谱失真，这是SAR-光学图像融合的主要挑战之一。
1.2 SAR与光学融合所需的预处理
在进行像素级融合之前，需要对SAR和光学图像进行预处理以提高融合性能。此预处理涉及两个步骤，即SAR图像的斑点噪声减少和待融合图像的配准。本小节将简要讨论这些步骤。
由于后向散射信号的相干处理，SAR图像受到乘性斑点噪声的干扰。这导致图像中出现颗粒状外观，使得视觉解译SAR图像变得困难[108]。因此，减少斑点噪声是SAR与光学图像融合之前的一个重要预处理步骤。斑点噪声减少滤波器的主要期望是：1）在均匀区域有效抑制噪声，2）保持和改进边缘及图像特征，以及3）改善视觉外观。然而，同时满足所有这些要求是不可能的，需要在它们之间进行权衡。各种研究人员提出了不同的算法来减少SAR图像中的斑点噪声。斑点噪声减少方法大致分为两类，即空间域方法和多分辨率域方法。一些流行的空间域方法包括Lee滤波器、Frost滤波器、增强Lee滤波器、增强Frost滤波器和Gamma MAP滤波器[84, 44, 93]。一些研究人员应用了小波收缩算法来减少SAR图像中的斑点噪声[56, 22, 74]。Samadhan等人[132]对传统斑点噪声减少滤波器与基于小波收缩算法的斑点噪声减少进行了比较。然而，没有一种算法能保证对所有类型的SAR图像都实现最优的斑点噪声减少。
斑点噪声减少的最新进展包括基于非局部滤波器的算法[33, 115]，使用由非局部滤波器和小波收缩组成的3D滤波器进行块匹配[146, 142]。一些研究人员应用深度学习方法对SAR图像进行滤波[155, 27]。尽管不同的散斑抑制算法仍在不断被提出，经典算法在SAR和多光谱图像融合中仍然被成功使用。
空间域自适应降噪滤波器，即Lee滤波器、增强Lee滤波器、Gamma MAP滤波器以及基于小波收缩的频域滤波器，被应用于一幅空间分辨率为36米的RISAT-1 ScanSAR CRS HV极化图像，该图像于2014年10月14日获取（纬度：20至21；经度：84至85）。这是2级地理参考数据。研究区域覆盖印度奥里萨邦的一个区域。该区域包括马哈纳迪河的一部分，被Phulbani和Harbhanga的森林区域、Tikarpada和Satkaosia野生动物保护区、Manjore大坝水库包围，并且还包括一些城市区域。图2显示了噪声图像和滤波后图像的裁剪子集，聚焦于Manjore大坝水库区域，以及分别使用Lee滤波器、增强Lee滤波器、Gamma MAP滤波器和小波收缩滤波器高亮显示的放大图像。
配准是SAR和光学图像几何对齐的过程。虽然减少斑点噪声不是配准过程的先决条件，但通常的做法是将去斑后的SAR图像与多光谱图像进行配准，以提高配准过程的准确性。这反过来决定了融合算法的成功。
使用不同传感器获取的图像，即使是经过地理参考的，也存在对齐不当的问题，因为两个传感器的数据采集时刻不同，并且它们并非精确指向同一方向。除此之外，光学传感器的定位精度还取决于对卫星空间姿态的精准掌握，这一信息用以确定卫星对地面的视向。由于太空中姿态角测量不准确，光学数据的定位精度较低[99]。为了解决这个问题，像素级图像融合技术需要在图像融合之前对源图像进行精确配准。[32]中提出了用于遥感图像的配准技术综述。然而，多传感器图像的配准是一项具有挑战性的任务[139]，并且是SAR-光学融合中误差的另一个主要原因。配准技术大致分为两类，即基于特征的技术和基于灰度的技术。基于特征的技术依赖于识别待配准图像中的显著特征，如边缘、角点和重要地标。在基于灰度的配准方法中，根据两幅图像像素灰度值之间的关系对图像进行配准[72, 128]。各种基于特征的算法已被实现用于SAR和光学图像的融合。其中一些基于轮廓检测[85]、使用尺度不变傅里叶变换的特征检测[141, 41, 163]、Canny边缘检测器[5]、霍夫变换[111]以及基于形状特征[69]。许多研究人员使用互信息作为基于灰度技术的相似性度量[162, 147, 60]。最近，基于深度学习算法的第三类图像配准方法正在兴起。[99]中提出了一种深度学习方法，通过使用从SAR图像获得的匹配点来提高光学图像的地理定位精度。Wang等人[156]提出了一个使用深度学习方法进行遥感图像配准的框架，其中也包括SAR和光学图像的配准。
不同的研究人员致力于SAR图像的斑点噪声减少和SAR-光学图像配准。对这些技术的详细综述超出了本文的范围。
1.3 融合技术的分类
图像融合技术基于各种标准进行分类，即数据获取的方法和进行图像融合的级别。Flusser等人[42]将融合技术分类为多视角、多模态、多时相和多焦点方法，这是基于数据获取的模式。基于进行融合的级别，融合方法分为三类，即像素级、特征级和决策级。这种分类与本文相关，并在本小节中详细讨论。
**像素级融合。**在此类别中，使用同一场景不同图像的像素值，通过某种融合规则对图像进行融合。这里的前提条件是图像在融合之前必须严格配准。这类技术（像素级融合技术）需要处理的数据量是最大的。融合图像的信息内容更丰富，这提高了决策的准确性。像素级融合技术的计算要求显然更高[77]。
特征级融合。 在这里，从不同图像中提取显著特征，如边缘、角点、轮廓、纹理和形状，并生成组合的特征图。该组合特征图被分类，从而可以做出更准确的决策。在这里，配准要求不那么严格[77]。
决策级融合。 对于这种类型的融合方法，不同的图像分别进行预处理和分类。因此配准要求不那么严格。它是在最高信息级别上的融合。从各个分类图像获得的信息被组合起来，并在解决信息中的模糊性之后，通过使用某些决策规则进行进一步优化[77]。
尽管像素级融合技术与特征级和决策级融合技术相比具有更高的计算负载，但由于其更高的准确性，这些技术仍然在遥感图像融合领域被广泛使用。在特征级和决策级融合中，存在信息损失，而在像素级融合中，数据的改变与其他类别相比更少。这使得像素级融合技术更适合遥感应用。
尽管有许多关于遥感数据融合/图像融合的研究论文在该领域做出了重要贡献[36, 120, 143, 159, 38, 175, 43, 50, 140, 49]，但由于信号的多传感器性质和SAR图像中斑点的存在，SAR和光学图像融合的问题更具挑战性。作者对现有文献的详尽研究发现，缺乏一篇文章能在单篇论文中涵盖SAR和光学图像像素级融合技术的所有关键方面。根据本文的范围，将讨论SAR-光学数据的像素级融合方法，涉及关键方面，即预处理、像素级融合方法、评估策略、基本融合方法的实验结果、SAR-光学图像融合的应用以及该领域的最新趋势。
论文的其余部分结构安排如下。第2节论述用于SAR和光学图像融合的各种像素级方法的综述。第3节描述了用于评估融合产品的各种质量指标。 第4节展示了一些基本融合方法的视觉和定性结果。第5节简要综述了SAR-光学图像融合的应用。第6节总结了该领域的最新趋势，第7节给出了从本研究中得出的结论。
2 像素级融合技术
像素级融合技术直接处理多传感器图像的像素数据。预处理后的SAR和多光谱图像被考虑用于融合。像素级融合的流程如图3所示。第一步，将预处理后的图像从自然域变换到某个更适合融合的其他域。然后根据一定的融合策略融合变换后的系数，下一步，将融合后的系数变换回自然域[87]。
根据文献[50]研究发现，像素级图像融合技术分为四类，即分量替换方法（CS）、多尺度分解方法（MSD）、混合方法和基于模型的方法。本节简要综述这些用于SAR和光学/多光谱图像融合的技术。
2.1 分量替换方法
分量替换方法将低空间分辨率的多光谱数据投影到其他空间，使得空间和光谱信息分离。多光谱数据的空间分量被高空间分辨率的SAR数据替换。这些技术要求待融合图像之间具有高度相关性，以最小化融合图像中的失真。因此，该组中的一些技术需要在待融合分量之间进行直方图匹配。替换空间分量后，使用逆变换将多光谱数据投影回原始空间[50]。此类别中的一些流行技术是主成分分析（PCA）、Gram-Schmidt（GS）正交化、强度-色调-饱和度（IHS）变换、Brovery变换（BT）、高通滤波（HPF）和Ehlers融合。
IHS变换用于从多光谱图像中分离空间和光谱内容。这种分离有助于减少融合图像中的光谱失真。最初，高分辨率SAR图像的直方图根据强度分量的统计参数进行修改，然后强度分量被直方图修改后的高分辨率SAR图像替换。修改后的强度、色调和饱和度分量再次变换到自然域以获得融合的多光谱图像[120]。
PCA是一种统计工具，用于将具有相关变量的数据转换为具有不相关变量的数据。第一个主成分包含多光谱波段中的大部分空间细节，这些波段用作PCA的输入。特定于其他多光谱波段的光谱信息被映射在剩余的分量中。在将高分辨率图像的直方图与第一个主成分匹配后，用高空间分辨率图像替换第一个主成分。逆PCA变换生成融合的多光谱图像[120, 159]。
Gram-Schmidt（GS）方法是基于PCA的融合方法的推广。在这种方法中，与PCA不同，第一个主成分可以任意选择，其余分量被计算为与任意选择的第一个主成分正交。为了融合高空间分辨率SAR和多光谱数据，首先计算一个模拟的低分辨率SAR波段。该波段充当新正交基的第一个波段。对第一个波段（模拟低分辨率SAR）和多光谱波段应用GS变换。然后，用高空间分辨率SAR波段替换第一个Gram Schmidt波段，最后应用逆GS变换以获得融合的多光谱波段[83]。
Brovery变换对待融合的多光谱波段进行归一化，并将归一化后的波段乘以高分辨率波段，从而将所需的空间信息添加到多光谱图像中[159]。
在HPF方法中，使用频域中的高通滤波器对高分辨率图像进行滤波。将此HPF滤波后的高分辨率图像添加到低分辨率多光谱波段以提高空间分辨率[120, 159]。
在Ehlers融合中，使用IHS变换将多光谱图像变换为强度分量，并对强度分量和高分辨率SAR图像应用傅里叶域滤波。从强度分量中提取低频内容，从SAR图像中提取高频分量[37]。
Harris等人[61]使用IHS变换融合雷达图像与多光谱图像。该研究还讨论了融合图像在地球科学应用中的价值。[117]中比较了PCA、IHS和HPF方法在热带地区更新数字地形图方面的SAR和光学图像融合，观察到对于相关应用，PCA和IHS的结果比HPF更有前景。[35]的作者使用Brovery变换和IHS方法融合SAR图像和多光谱图像以进行土地覆盖分类。分别使用单传感器数据和融合数据进行分类。结果显示融合数据的总体分类准确率高于仅使用多光谱数据。Herold和Haack[63]提出使用层叠加和PCA方法的各种组合来融合星载SAR数据与多光谱数据，以改进土地覆盖测绘。分类准确率在与SAR数据融合后显著提高。Chen等人[21]使用IHS变换融合高光谱分辨率的高光谱图像与SAR图像，以在城市区域上获得增强的特征。将融合图像叠加在数字高程模型（DEM）上以获得三维视图。这种融合有助于解决不同类型土地覆盖的模糊性。Gungor和Shan[55]提出SAR和多光谱图像的加权相加以获得融合图像。权重使用源图像的局部统计参数计算。Pal等人[110]提出基于PCA的融合方法来改进地质解译。使用FFT方法和Frost滤波器滤波后的SAR图像与多光谱数据使用PCA进行融合，随后使用面向特征的主成分选择方法来生成融合数据的假彩色合成图。
Nizalapur[106]验证了使用IHS变换融合SAR和多光谱数据以改进土地覆盖分类。Chandrakanth等人[17]应用频域高通滤波来融合高分辨率全色和高分辨率SAR图像。在这种方法中，从全色图像中提取低频细节，从SAR图像中提取高频细节。作者还讨论了数据选择中涉及的一些问题。建议选择入射角大于45度获取的SAR图像和在天底点获取的光学图像进行融合，以获得最大的特征重叠。Misra等人[100]提出了一种融合方案，使用颜色归一化变换（Brovery变换的一种变体）将低分辨率多光谱图像与高分辨率和中分辨率SAR图像集成。使用融合数据和多光谱数据进行分类以评估融合的有效性。Taha和Elbeni[148]比较了基于PCA、IHS和Brovery变换的融合方法，用于融合多光谱和SAR数据以提高海岸线划界的分类准确性。基于IHS的融合产生了更好的分类准确性。Sanli等人[134]对三种融合方案进行了质量分析，即Ehlers融合、可调SAR MS融合和HPF融合。在这三种方法中，HPF的性能更好。由于SAR和多光谱数据之间的负相关系数，Yin和Jiang[168]对传统的PCA、IHS和Brovery变换方法进行了修改，以改进全极化SAR数据和多光谱数据的融合。在这里，SAR数据的范围根据多光谱数据的范围进行拉伸。将这些修改后的方法与传统的PCA进行了比较。观察到修改后的PCA在视觉上产生了更好的结果。Battesnegl等人[12]提出融合高分辨率光学和SAR图像以提高土地覆盖分类准确性。使用乘法方法、BT、PCA和基于IHS的融合对源图像进行融合，并在视觉上和基于分类准确性方面比较了结果。Yang等人[165]应用GS正交化方法融合光学和SAR图像以改进沿海湿地分类。Manaf等人[97]比较了IHS、Brovery和GS方法在SAR和光学图像融合中以提高提取海岸线的分类准确性。观察到利用融合数据提高了海岸线提取的准确性。Kumar等人[81]比较了基于IHS的SAR和光学数据融合与SAR、NDVI和OB波段的集成，用于研究红树林群落。这项研究揭示了应用融合数据可以更好地区分红树林群落。
分量替换方法计算复杂度较低。这些技术产生的融合产品在空间信息上很丰富。但这些方法高度依赖于待融合图像之间的相关性。由于不同类型传感器通道之间的光谱失配，待融合图像之间会出现局部差异，这可能导致融合产品中出现严重的光谱失真[112, 50, 159]。就SAR和光学图像的融合而言，早期的研究人员曾单独应用CS技术，但由于融合图像中存在显著的光谱失真，研究已朝着多尺度方法和混合方法的方向发展。
2.2 多尺度分解方法
多尺度分解方法也称为多分辨率分析方法。这些方法试图克服分量替换方法带来的局限性。图4显示了基于多尺度分解的图像融合技术的框图。在这些方法中，首先使用合适的多分辨率方法在不同尺度上分解待融合的源图像，然后对所有级别上的每个分解图像子带应用融合规则，并将融合后的子带进行逆变换（重构）以生成融合图像[50]。
金字塔变换和小波变换是该组方法中的流行类别。金字塔方法将源图像分解为高斯金字塔和拉普拉斯金字塔。这些方法存在缺点，如方向信息有限、块效应和中等信噪比[112]。
基于小波的方法大致分为两种类型。第一种是基于用相应的高分辨率子带替换低分辨率子带，第二种是基于将从高分辨率子带提取的细节注入到低分辨率子带中（基于ARSIS概念的方法；ARSIS是法语名称 "amélioration de la résolution spatiale par injection de structures" 的缩写，意为通过结构注入提高空间分辨率）[125]。MSD方法的另一个流行类别使用非下采样小波变换（也称为A Trous小波，即AWT）。这种类型的多尺度变换是用于多传感器数据（如SAR和多光谱图像）的融合技术的一个良好选择，因为它提供了平移不变性。传统的小波变换由于涉及下采样过程而是平移可变的。
平移不变性在多传感器融合中很重要，因为它最小化了配准误差对融合的影响。在MSD方法类别中，使用非下采样变换的基于ARSIS的方法更常用于SAR和光学图像的融合。使用多分辨率变换增加了计算复杂性，但由于在时域和频域中同时定位，实现了更好的融合性能[112, 50]。
Chandrakanth等人[17, 16, 18]提出了基于金字塔分解的融合方法。在这种技术中，源图像被分解为拉普拉斯金字塔，并通过拉普拉斯金字塔的加权相加获得融合金字塔，其中权重基于金字塔不同级别上每个子带中的光谱能量计算。Chibani等人[26]使用冗余小波变换和基于马哈拉诺比斯距离的融合规则融合多光谱和SAR图像，以便在不干扰多光谱内容的情况下将SAR信息集成到多光谱图像中。Garzelli[46]提出了一种SAR、全色和多光谱图像的融合方案，使用非抽取小波变换来增强多光谱图像的空间分辨率。首先，融合全色和多光谱图像，并将SAR图像的结构信息注入到全色锐化图像中以获得最终的融合产品。Hong等人[65]演示了使用小波变换融合多幅极化SAR图像与全色图像。在融合策略中，近似子带取自全色图像，细节子带取自SAR图像。融合子带的逆变化产生融合产品。对所得的融合数据进行了分类，并且在融合数据的情况下观察到了更好的类间分离度。
Wang等人[154]提出了一种基于小波变换的融合算法来融合SAR和光学图像。融合策略基于选择SAR和光学子带中系数最大的系数。Abdikan等人[1]比较了分量替换方法IHS、PCA和HPF与基于小波的融合。基于小波的方法和HPF方法在定量上产生与其他两种方法相似的结果，但基于小波的融合方法在视觉上产生了更好的结果。Klonus和Ehlers[78]比较了各种基于CS的融合方法与基于叠加小波的融合方法，用于SAR和光学数据的融合。结果在定量和视觉上进行了评估。Ehlers融合在视觉上产生了更好的结果，没有可见的颜色失真，并且空间分辨率得到了提高。Li和Wang[88]验证了使用多小波变换融合SAR和多光谱波段。多光谱图像的近似子带保持不变，并且使用在3×3邻域上基于窗口的活动度量来融合SAR和多光谱图像的细节子带。该方法中的活动度量基于在3×3邻域上的加权相加。将所提出的多小波方法的结果与IHS、PCA和基于小波的融合进行了比较，发现优于这些融合方法。Yonghonga和Blume[169]提出融合SAR、多光谱和全色图像以进行城市目标提取。该方法中，首先通过非下采样小波分解得到去噪后 SAR 影像的近似影像，计算去噪 SAR 与该近似影像的比值，提取 SAR 影像的纹理特征；然后用该纹理信息调制全色影像的高频细节；最后采用高通滤波方法将纹理调制后的全色影像与多光谱影像融合，得到融合产品。Amarsaikhan等人[10]使用基于小波的融合方法融合高分辨率SAR和光学图像，并将结果与Brovery变换、Ehlers融合和PCA进行了比较，以改进土地覆盖分类。观察到使用Brovery变换融合的图像在空间分辨率方面更优。这项研究还揭示了使用融合的遥感信息提高了分类准确性。Rahman 等人 [124] 比较了分量替换法与小波融合方法的性能，以提升地表与地下制图精度。Lu等人[94]演示了使用小波变换集成多光谱和SAR数据以绘制不透水表面，因为小波变换能够在增强融合产品中空间细节的同时保留光谱特征。Gupta等人[57]比较了Ehlers融合、PCA和基于小波的融合技术，用于SAR和多光谱图像的融合。分类准确性被用作质量指标。Ehlers方法在SAR和多光谱图像的融合方面效果更好。Sarker和Nichol[135]研究了六种具有不同滤波器大小与不同融合规则的小波族在SAR和光学数据融合中的性能。Kulkarni和Rege[79]应用基于局部能量的小波变换策略融合 SAR 与光学影像，并发现其在光谱和空间质量方面优于传统的CS融合方法，即PCA、GHIS和GHIS-Choi。
研究发现，基于小波的融合方法通过最小化光谱失真来改善光谱分辨率。然而，它提供的空间分辨率低于IHS、PCA、Brovery和Ehlers融合等CS方法所提供的空间分辨率[112, 78, 10]。这是由于小波变换的方向性有限，需要更多的系数来表示边缘。方向性变换，如曲波、轮廓波等，可以用更少的系数以相同的精度表示高频细节。一些研究人员使用基于方向性变换的MSD融合方法进行SAR和光学图像的融合。Yaning等人[167]应用基于曲波的分解来融合SAR和光学数据。结果发现优于IHS和基于小波的融合方法。El-Tawel和Helmy[40]应用非下采样剪切波变换（NSST）融合SAR和多光谱图像。NSST用于将源图像分解为低频和带通子带。使用基于局部能量和局部纹理特征的融合规则融合近似子带（即低频子带）。脉冲耦合神经网络（PCNN）用于指导带通子带的融合过程。
多尺度分解方法在空间和光谱域中提供了良好的定位，从而减少了空间和光谱失真。这些方法还导致更好的信噪比。有时基于小波的方法提供更好的光谱分辨率，但会导致空间失真。如果使用方向性更好的多尺度分解，结果优于基于小波的融合，但代价是计算复杂度增加。多尺度分解的选择和融合策略是该类方法中的两个关键问题[112, 50, 87]。
2.3 混合方法
混合方法结合了分量替换方法和多尺度分解方法，以利用两种方法的优点，并在空间和光谱分辨率上实现改进。各种研究人员使用混合方法来融合SAR和光学图像。基于IHS的融合能很好地保留空间细节，但会引入光谱失真。许多研究人员提出了结合IHS和MSD方法的混合融合方法来融合SAR和光学图像以克服这一局限性。Alparone等人[8, 9]提出了一种混合方法来融合SAR、全色和多光谱数据。在这种方法中，使用广义IHS变换将多光谱图像变换到IHS空间。强度分量使用纹理特征进行调制，这些纹理特征通过将去斑SAR与其低通近似之比来提取。在调制之前，通过注入使用AWT从全色图像中提取的高频细节来对强度分量进行全色锐化。将调制后的强度图像反演以获得融合的多光谱图像。Huang等人[70]结合IHS变换和DWT来融合SAR和多光谱图像，以改进城市土地覆盖分类。首先将多光谱图像变换到IHS空间，然后使用DWT分解强度分量和SAR图像。在根据融合规则融合子带后，应用逆小波变换获得融合图像。将该方法与PCA进行了比较，并使用所提出的混合方法观察到分类准确性的提高。Mercer等人[98]应用基于IHS变换和小波变换的混合方法进行SAR和多光谱图像融合。在这里，融合策略基于替换源数据的分解子带。融合子带由强度分量的近似子带和SAR图像的细节子带组成。Chibani[25]提出对Browery变换进行修改以将SAR特征注入多光谱图像。在这种方法中，多光谱图像通过新强度分量与原始强度分量之比进行调制。新强度分量是通过将使用AWT从SAR图像提取的高频细节注入到原始强度分量中而获得的。注入的高频SAR特征的数量由重要性因子控制。Hong等人[64]提出了一种基于IHS变换和小波变换的混合融合方法，以融合高分辨率SAR图像与中分辨率多光谱图像。在这种方法中，融合策略基于SAR和多光谱图像子带之间的局部相关性。将所提出的混合方法与传统的IHS和基于小波的融合进行了比较，发现更好。Han等人[59]提出了一种基于IHS变换和AWT组合的混合融合方法来融合多光谱和SAR图像。将多光谱图像变换到IHS空间后，使用AWT分解强度分量和SAR图像。使用统计度量融合分解后的子带，并重建融合子带以获得融合的强度分量，随后将其反演到原始多光谱空间。将所提出的方法与传统的基于小波的融合进行了比较，发现基于AWT的融合更好。为了克服融合图像中的光谱失真问题，Chen等人[23]提出了一种光谱保持融合方法，该方法基于广义IHS变换结合AWT和经验模态分解（EMD）。将低分辨率多光谱图像转换为强度分量。使用AWT将SAR图像分解为近似图像和小波子带。使用EMD将SAR的近似分量和多光谱图像的强度分量分解为本征模态函数（IMF），并融合相应的IMF。融合的IMF、IMF的残差和AWT中的小波平面用于生成高分辨率强度分量，然后将其反演以产生融合图像。Byun等人[15]应用混合方法融合SAR、全色和多光谱图像。首先，将SAR图像分割为活动和非活动区域。然后，使用AWT融合SAR和全色图像，对活动和非活动区域使用不同的融合规则。使用混合全色锐化算法将全色锐化后的SAR图像与多光谱图像融合。Byun[14]提出了一种使用小波变换和IHS变换的混合图像融合方法来融合全色、SAR和多光谱图像。在这种方法中，最初采用全色和SAR图像的加权组合，其中权重使用局部统计参数以自适应方式计算。所得图像使用广义IHS变换与多光谱图像融合。Chong和Xuejiao[28]比较了涉及非下采样轮廓波变换和IHS变换的混合融合方法的不同融合规则。Liu等人[91]提出了一种涉及PCA、IHS和小波变换的混合融合方法，用于集成SAR和多光谱图像以分析海冰。在这种方法中，将多光谱波段转换为强度分量，并使用小波分解将SAR图像转换为纹理图像。强度图像包含光谱信息，而纹理SAR图像包含空间信息。使用PCA方法融合这两幅图像，以在融合图像中获得最大的光谱和空间信息。观察到融合产品有助于更好的海冰识别。Wang和Chen[157]提出了一种基于非下采样轮廓波变换（NSCT）和PCNN的混合融合方法。最初，将多光谱波段变换到IHS空间，并使用NSCT分解强度分量和SAR图像。在下一步中，对SAR子带的系数应用梯度变换和阈值操作以对其进行调制。在融合步骤中，使用PCNN的输出融合SAR子带的调制系数和强度子带的系数。Kulkarni等人[80]提出了集成PCA和DWT方法的混合方法，使用基于局部能量的融合策略来融合SAR-光学图像，并减少光谱失真。
混合方法利用了基于CS和MSD的融合方法的优点。据观察，涉及多尺度分解和分量替换方法的混合融合方法能够更好地融合SAR和光学图像。
2.4 基于模型的方法
各种基于模型的方法被提出用于遥感数据融合，一些研究人员已将它们用于SAR和光学图像融合。这些方法主要包括变分模型和基于稀疏表示的模型。
Zhang和Yu[179]将为多光谱和全色图像融合提出的变分融合模型扩展到多光谱和SAR图像的融合，以更好地理解城市特征。这种融合方法基于最小化能量函数，该函数确保结合来自多光谱图像的颜色信息和来自SAR图像的几何信息。
基于稀疏表示的方法将图像融合视为一个恢复问题，并从由低分辨率和高分辨率图像准备的过完备字典中选择原子的线性组合生成高分辨率融合图像。根据融合策略融合源图像的稀疏系数，并使用相同的字典重建融合图像[48]。一些研究人员扩展了基于稀疏的方法用于光学和SAR图像的融合。Zhouping[184]提出基于支持值变换和稀疏表示的SAR和光学图像融合。使用支持值变换将SAR和光学图像分解为子带。使用稀疏表示融合低频子带，并使用区域能量融合高频子带。应用逆支持值变换以获得融合图像。Huang等人[68]提出融合SAR和低分辨率光学图像以从高分辨率光学图像中去除云层。该方法基于稀疏表示。在这种方法中，高分辨率图像中受云污染的部分使用两个训练好的字典进行重建。一个字典是从低分辨率和高分辨率光学图像的梯度块生成的，而另一个字典是从SAR和高分辨率光学图像的梯度块训练得到的。Zhang等人[174]提出了一种基于稀疏表示结合IHS变换的融合策略，以集成来自多光谱和SAR图像的信息。使用IHS变换将多光谱数据转换为强度分量。将强度分量和SAR图像转换为稀疏系数，将这些系数融合以获得融合的强度分量。最后，将融合的强度分量反演以获得融合图像。Liu等人[89]提出使用IHS和联合非负稀疏编码融合机载SAR和光学图像。首先，使用IHS变换从多光谱图像中获取强度分量。使用联合非负稀疏表示分解强度分量和SAR图像。将强度分量的稀疏系数与SAR图像的稀疏系数融合。修改后的强度分量的反演产生融合图像。
基于稀疏表示的方法的结果有时优于其他方法，但稀疏编码和字典创建是两个具有挑战性的问题。这些方法在计算上也很复杂[48]。表1在SAR-光学图像融合的背景下对这四类融合方法进行了定性比较。据观察，混合融合技术由于其处理光谱和空间失真问题的能力以及相对于基于稀疏表示的方法相对较低的复杂度而更受欢迎。
3 融合图像评估
图像融合适用于不同的应用领域，没有一种图像融合算法能在所有场景下同样有效。融合产品的视觉评估具有主观性（因缺乏真值影像），且可能因解译者不同而产生差异 [112,50]。因此需要质量指标以客观方式评估图像融合。SAR-光学图像融合是遥感图像融合的一个特殊类别，并使用相同的质量指标进行评估。本节简要概述了用于评估遥感图像（特别是SAR-光学图像融合）融合的质量指标。许多研究人员提出了不同的质量指标来评估融合图像。图像融合方法的评估主要分为两类。第一类使用需要参考图像的质量指标，第二类指标不需要参考图像。在遥感中，参考图像可能无法获取。为了克服这个问题，使用了Wald协议，这将在下一小节详细讨论。根据该协议，待融合影像的空间分辨率通过下采样降低（与原始影像相比），而原始多光谱影像被视为参考影像。这也称为降低分辨率评估[153]。
3.1 质量指标
如前所述，一类质量指标需要参考图像，另一类不需要。Zhang[180]、Jagalingam和Hegde[73]详细综述了用于评估融合图像的质量指标。部分评估指标将在下文讨论。
3.1.1 需要参考图像的指标
- 相对偏差（Rel-Bias）：它是参考多光谱波段均值与融合多光谱波段均值之间的绝对差；除以参考图像的均值[153]。其理想值为0，使用以下公式计算。
其中 u_{r} 和 u_{f} 分别是融合和参考多光谱波段的均值。
- 相对方差（Rel-VAR）：通过参考图像的方差减去融合图像的方差，再除以参考图像的方差来计算[153]。其理想值为0。使用以下公式计算相对方差。
其中 \(\sigma^{2}{r}\)、\(\sigma^{2}{f}\分别表示参考和融合多光谱波段的方差。
- 相对标准差差值（Rel-SDD）：它是参考和融合多光谱波段之间差值的标准差，除以参考多光谱波段的均值[153]。其理想值为0，使用以下公式计算。
其中 \(\sigma\) 表示通过减去参考波段 \(I_{r}\) 和融合波段 \(I_{f}\) 得到的差值图像的标准差。
- 光谱角制图仪（SAM）：它是表示融合图像和参考图像的向量之间的夹角[171]。它对每个像素进行计算，然后平均以获得全局光谱角。理想情况下，该值（全局光谱角）应尽可能小。由以下公式给出。
其中 \(r\) 和 \(f\) 分别代表参考和融合数据集。\(L\) 是多光谱图像中的总波段数
- 均方根误差（RMSE）：它是参考图像和融合图像之间的均方根差[153, 105]。参考数据集 \(r\) 和融合数据集 \(f\) 之间的RMSE由以下公式给出。
期望此值尽可能低。
- 相对全局无量纲综合误差（ERGAS）：指的是合成过程中的全局相对无量纲误差。它根据RMSE值的总和计算。它比RMSE值更稳健[152]。由以下公式给出
其中 \(h\) 是高分辨率SAR图像的空间分辨率，\(l\) 是多光谱图像的空间分辨率，\(\mu_{i}\) 是每个多光谱波段的平均强度值，\(L\) 是多光谱波段的总数，\(RMSE\) 是融合波段与多光谱图像参考波段之间的均方根误差。
- 通用图像质量指数（UIQI）：也称为Q指数。这里，图像失真被建模为三个因素的组合，即相关性损失、亮度失真和对比度失真[158]。其值范围在-1到1之间。期望此值尽可能高。由以下公式给出
其中 \(r\) 和 \(f\) 分别是参考图像和融合图像。\(\sigma_{rf}\) 是参考图像和融合图像之间的协方差，\(\bar{r}\) 和 \(\bar{f}\) 分别是参考图像和融合图像的均值。最初，在16×16窗口上计算局部Q指数，最后将所有局部Q指数平均以获得全局Q指数。
-
Q4指数：它是Q指数的扩展，适用于包含四个波段的数据集[7]。如果光谱波段超过四个，则Q4指数被推广为Q2\({}^{\text{n}}\)指数[47]。
-
相关系数（CC）：它是参考图像和融合图像之间相关性的度量[153]。有时，也计算高频分量之间的相关性，如[183]所建议的，以评估融合图像中空间信息的改进[64]。使用以下公式计算原始多光谱波段和融合多光谱波段之间的相关系数。
其中 \(r\) 和 \(f\) 分别是大小为 \(M\times N\) 的参考和融合多光谱波段。\(\bar{r}\) 和 \(\bar{f}\) 分别是参考和融合多光谱波段的均值。
- 结构相似性指数度量（SSIM）：它测量参考图像和融合图像之间的结构相似性。人类视觉系统对图像的结构内容更敏感，而融合影像中的结构细节损失能反映融合性能。该度量的范围是[-1,1]，1表示相同的图像[86, 62]。使用以下公式计算。
其中 \(r\) 和 \(f\) 分别代表参考和融合多光谱波段；\(\mu_{i}\) 、\(\mu_{f}\) 是它们的均值；\(\sigma_{i}^{2}\)、\(\sigma_{f}^{2}\) 是它们的方差；\(\sigma_{xy}\) 是它们之间的协方差；\(C_{1}\)、\(C_{2}\) 是用于在弱除法下稳定分母的变量。
3.1.2 不需要参考图像的指标
-
标准差（SD）：当图像无噪声时更有效。它是融合图像对比度的度量。融合图像中的高对比度表示信息丰富度[153]。
-
熵和交叉熵：熵是一个重要的指标，可反映所研究数据中的信息丰富度。使用以下公式计算熵。
其中 \(L\) 是被分析图像的动态范围，\(p(k)\) 是第 \(k^{th}\) 个灰度级出现的概率。交叉熵计算源图像和融合图像之间信息的相似性。理想情况下，熵与交叉熵这两个值都应更大 [168,25]。
- 互信息（MI）：它是源图像和融合图像的联合概率分布之间距离的指标[123]。原始图像和融合图像之间的互信息由以下公式给出。
其中 \(I\) 和 \(F\) 是分别表示输入和融合图像的随机变量，其概率分布为 \(P_{I}(i)\) 和 \(P_{F}(f)\)，而 \(P_{IF}(i,f)\) 是联合概率分布。
- 空间频率（SF）：用于衡量图像中的整体活跃度。它通过行频率（RF）和列频率（CF）来表示 [182]。期望具有高空间频率值的融合图像。使用以下公式计算。
其中行频率（RF）和列频率（CF）由下式给出
- 无参考质量（QNR）指数：在这种方法中，根据融合图像和源图像上计算的质量指数计算空间失真指数和光谱失真指数。将这两个指数各自的补数相乘，得到整体QNR指数。它测量融合图像中的光谱和空间失真。期望具有高的QNR值[6]，趋向于1。以下公式给出QNR的值。
其中 \(D_{\lambda}\) 和 \(D_{\beta}\) 分别代表光谱和空间失真。\(\alpha\) 和 \(\beta\) 是加权系数。融合和原始多光谱波段的带间Q指数值的差值用于计算光谱失真。光谱失真可以如下计算
其中\(\{\hat{F_{I}}\}{I=1}^{L}\) 和 \(\{\tilde{M{I}}\}_{I=1}^{L}\) 分别表示融合和低分辨率多光谱波段，\(L\) 是多光谱波段的总数。\(p\) 是一个正整数，用于强调大的光谱差异。如果p=1，所有光谱差异被赋予相等的权重。类似地，空间失真可以如下计算
其中 \(S\) 是SAR/全色图像，\(\tilde{S}\) 是空间降级的SAR/全色图像。\(q\) 是一个类似于 \(p\) 的指数，选择用于强调较高的差异值。
- 与HVS一致的融合质量评估指数：为解决参考影像缺失的局限，以及各类质量指标与人类视觉系统的不一致性，Liu等人[90]提出了该指数。最初，在高斯尺度空间中分离融合图像和源图像的空间和光谱内容，并评估空间和光谱质量指数。最后，取光谱和空间质量指数的乘积来评估融合图像的整体质量。融合图像第 \(i^{th}\) 波段的光谱质量指数由下式给出
其中 \(s\) 表示尺度数，\(\sigma_{k}\) 是第 \(k^{th}\) 层的尺度因子，\(F_{d-i}(\sigma_{k})\) 是融合降级图像第 \(i^{th}\) 波段第 \(k^{th}\) 层对应的高斯图像，\(M_{i}\) 是原始多光谱图像的第 \(i^{th}\) 波段，\(Q_{\lambda}\) 是用于计算 \(F_{d-i}(\sigma_{k})\) 和 \(M_{i}\) 之间相似度的算子。\(q\) 是一个正整数，用于增强 \(Q_{\lambda}\)。融合图像第 \(i^{th}\) 波段的空间质量指数计算如下
其中 \(Q_{s}\) 是空间相似性算子，用于计算空间相似性，\(F_{i}\sigma k\) 和 \(S(\sigma_{k})\) 分别表示融合和SAR/全色图像第 \(i^{th}\) 波段的高斯图像层，尺度因子为 \(\sigma_{k}\)。\([F_{i}(\sigma_{k}){-}F_{i}(\sigma_{k+1})\) 和 \(S(\sigma_{k}){-}S(\sigma_{k+1})\) 是相邻高斯层之间的差值。\(p\) 是一个用于增强 \(Q_{s}\) 的正整数。
3.2 Wald协议
Wald等人[153]提出了一种用于评估图像融合算法的协议。仅当待融合图像分辨率不同且无法获得用于评估融合图像的高分辨率参考图像时，才应使用Wald协议。该协议检查两个属性，即一致性和合成性，以评估融合性能。一致性特性规定，任何高分辨率合成影像（融合后生成）在被降质到原始低分辨率后，应与源影像尽可能接近。例如，试想将 1 米分辨率全色影像（Ph）与 4 米分辨率多光谱影像（Ml）融合，生成 1 米分辨率多光谱影像（Mh）。将 Mh 降质到原始 4 米分辨率后，其应与 Ml 尽可能接近。合成性特性规定，任何高分辨率合成影像应与对应传感器在该高分辨率下拍摄的影像尽可能接近。由于无法获得高分辨率参考图像，测试此属性很困难。为解决这一问题，建议采用以下流程。
下采样 ：将全色/SAR图像（Ph，比如1m分辨率）和多光谱图像（Mi，比如4m分辨率）分别下采样到4m和16m分辨率。
融合 ：将上述步骤中获得的降低分辨率图像融合以产生4m分辨率的合成图像。
评估：使用质量指标在合成4m图像上评估融合性能，并将原始4m图像用作参考图像。
不同的研究人员已经应用了基于参考图像的质量指标，使用Wald协议进行全色、多光谱和SAR图像的融合[159; 1; 78; 25; 64; 23; 15; 14; 107; 181]。
尽管已经提出了不同的质量指标来评估遥感图像的融合性能，但没有一种指标在所有情况下都最适合评估融合图像。开发一种适用于所有遥感图像融合应用的质量指标是一个悬而未决的问题[73]。上述讨论的质量指标已用于涉及全色、多光谱和SAR图像的各种融合技术中。这些指标如表2所示。
4 基本融合技术的视觉和定量评估
本节使用质量指标展示了分量替换融合方法（即PCA、BT、GHHS）和基于小波的融合方法的视觉和定量评估。尽管文献中提供了第3.1.1和3.1.2小节讨论的许多质量指标，但这里仅展示与SAR-光学图像融合相关的一些指标。
将前面章节预处理的RISAT-1 ScanSAR CRS HV极化数据集与Resourcesat-2 AWiFS多光谱数据（于2013年11月23日捕获）使用分量替换技术（即PCA、BT和GHHS（广义IHS））进行融合。Resourcesat-2 AWiFS数据有4个波段，即绿色、红色、近红外（NIR）和短波红外（SWIR）。融合前，通过手动选择地面控制点，将 AWiFS 数据与去斑后的 RISAT-1 数据进行配准，配准精度达到亚像素级。图5显示了原始多光谱数据的假彩色合成图以及融合数据的假彩色合成图。在假彩色合成中，红色分配给多光谱数据的NIR波段，绿色分配给红色波段，蓝色分配给绿色波段。这些CS融合技术的视觉结果显示，在所有使用的技术中，基于PCA的融合产生了更好的融合产品。BT和GHHS融合技术导致了严重的光谱失真，这在视觉结果中清晰可见。从结果中还明显看出，SAR 影像中包含的部分空间细节已被注入到融合产品中。
通过对该数据集应用基于小波的融合算法，将源图像分解到4级。应用了以下融合规则。
规则0：对近似子带的小波系数取平均值，以生成融合影像的近似子带。对于细节子带的融合，在融合细节子带中选择具有绝对最大值的系数[109]。在融合细节子带时选择最大值，可确保融合影像的细节子带中保留显著的局部特征。以下公式描述了规则0。
其中 \(As\)、\(Am\) 和 \(Az\) 分别是SAR、多光谱图像和融合图像的近似子带的系数。Dz 为融合影像第 j 层分解的细节子带（LL、LH、HH）系数。D 代表来自 SAR / 多光谱波段的细节系数，且满足绝对最大值条件。
规则1：此规则类似于规则0，不同之处在于，细节子带的融合采用局部邻域内的最大值的绝对值。
基于小波的融合的视觉结果表明，其视觉效果优于 BT 和 GIHS 方法。使用规则0的融合在视觉上优于规则1，因为在规则1的视觉结果中，河床中的一些细节变得模糊。基于小波的融合中的一些细节比BT、GHIS和PCA融合方法更清晰。然而，PCA融合的视觉结果与基于小波的融合相当。
使用一些广泛用于SAR-光学图像融合的质量指标开展定量评估。质量指标如Rel-Bias、Rel-VAR、Rel-SDD、CC、ERGAS、SAM、UIQI、SSIM和SCC需要参考图像，并在降低分辨率下进行评估；而其他质量指标如熵、标准差（SD）和空间频率（SF）不需要参考图像，并在全分辨率下进行评估。表3和表4展示了BT、GHIS、PCA和DWT融合方法的定量评估。
从表3可以明显看出，除SCC外，BT方法的几乎所有质量指标值均较差，这表明在大多数波段上，其融合结果与多光谱参考数据存在显著的光谱差异。GHIS方法在大多数波段上产生了更好的Rel-Bias和Rel-VAR值。对于GHIS方法，Rel SDD、CC、UIQI、SSIM、ERGAS和SAM的值也很差。这是由于待融合的多光谱和SAR图像之间存在显著的光谱失配。BT和GHIS融合方法产生了更好的SCC值。这表明与SAR图像具有更高的空间相似性。但光谱失真显著，结果在视觉上很差。与BT和GHIS方法相比，PCA方法对于大多数需要参考图像的质量指标产生了相对令人满意的值。在使用PCA获得的融合产品中，NIR和SWIR波段的CC值较差。然而，质量指标的值清楚地表明还有很大的改进空间。从表3还可以看出，基于小波的融合（使用规则0和规则1）在所有多光谱波段上产生了更高的CC和SSIM值。对于DWT-规则0，UIQI的值优于DWT-规则1。在基于小波的融合规则中，使用规则0获得的融合在CC和SSIM方面在定量上优于规则1。然而，结果的视觉质量几乎相同。基于PCA的融合在CS和基于小波的融合方法中产生最小的光谱角。这是由于PCA能更好地分离空间和光谱信息。使用规则1的基于小波的融合在所实现的CS和基于小波的融合方法中产生更高的SCC值。这表明SAR和融合数据之间具有更高的空间相似性。然而，在使用规则1的融合产品中，河床中的一些空间细节变得模糊。这些细节在使用规则0获得的融合产品中以及在基于PCA的融合中更好。
表4显示了原始和融合多光谱数据的质量指标值，即熵、SD和SF。很明显，GHIS方法在除NIR波段外的几乎所有波段上都产生了更好的值。PCA方法为NIR波段产生了更好的这些质量指标值。基于PCA的融合在其余光谱波段上产生了可比的熵、SD和SF值。基于小波的融合规则产生了可比的熵和SD值。使用基于小波的规则0融合获得了所有波段更高的SF值。视觉和定性评估表明，在这些方法中，PCA和基于小波的融合在视觉上产生了更好的融合产品。但基本的CS和基于小波的融合方法有很大的改进空间，并且由于SAR和多光谱数据之间的光谱失配而导致失真。
5 应用
多传感器图像融合广泛用于遥感中的不同应用，以改进图像解译效果。本节简要讨论SAR和光学图像融合的一些应用。SAR和光学图像融合的主要应用包括土地覆盖分类、森林监测和生物量估算、变化检测、城市特征提取、洪水监测、冰雪监测等。
5.1 土地覆盖分类
多传感器遥感数据的融合有助于提高分类准确性[52]。对于不同类型的土地覆盖分类，SAR 数据与可见 - 红外数据的融合，有助于区分那些因地物光谱特征相似而在光学数据中无法区分的类别。两个结构不同的土地特征类别在微波数据中产生不同的响应。微波和光学数据的集成允许准确识别土地特征。各种研究人员已经应用SAR和光学图像的融合进行土地覆盖分类[144, 35, 8, 76, 164, 130, 95, 160, 71, 2, 66, 51, 114, 82, 45, 80]。
5.2 森林监测
森林拥有丰富的自然资源和生物多样性。由于人类开发和火灾等自然原因，存在严重的森林砍伐。为了维持生态平衡，森林监测和管理至关重要。由于SAR和光学传感器提供的互补信息，该数据的融合是森林监测的有效遥感工具之一。森林监测包括森林覆盖类型区分、生物量估算、森林砍伐研究、流域保护等。不同的研究已将SAR和光学数据的融合用于各种森林监测应用[102, 4, 30, 135, 126, 127]。
5.3 变化检测
这是通过整合在不同时间由不同传感器捕获的遥感图像，来检测所考虑现象在一段时间内变化的过程。为地球特定区域捕获的多时相和多传感器图像提供互补信息，此类信息的融合总是有助于检测该地球部分的变化。在使用融合图像进行变化检测时，应特别注意确保考虑用于融合的图像是在非常接近的时间内获取的。各种研究人员已经致力于使用SAR和光学图像融合进行变化检测[172, 173, 53]。
5.4 城市特征提取
城市区域由各种可能光谱相似但结构不同的人工地物组成。将SAR数据（对结构差异敏感）与光学数据集成对于更好地提取城市特征非常有用。这方面的研究工作已经由许多研究人员进行[161, 150, 13, 129, 29, 10]。Salentinig和Gamba[131]利用像素级、特征级和决策级SAR-光学融合技术来测绘城市区域。
5.5 地形图更新
图像融合是地形测绘和地图更新的重要工具。一个传感器未覆盖的区域可能被另一个传感器覆盖。通常，由于降雨、云层覆盖和其他因素，特定区域的光学数据（可见光和红外数据）可能无法获得。由于SAR数据在所有天气和所有时间都可用，同一区域的信息可通过SAR传感器获得。SAR 与光学数据的融合对更新地形图具有重要作用。不同的研究人员已经致力于通过使用融合来更新地形图领域的工作[117, 116, 119, 121]。
5.6 洪水监测
SAR和光学图像的集成在洪水监测中起着重要作用。由于SAR信号对土壤介电常数敏感，土壤湿度可以通过SAR信号感知。土壤的洪水前状态在光学数据中可以获取。因此，SAR和光学数据的集成有助于洪水监测。该领域的研究工作已由各种研究人员在[19, 11, 31, 149]中提出。
5.7 冰监测
对于在南北高纬度海域航行的船舶而言，冰雪监测是一项必要任务。对于安装在船上的破冰船，有必要了解冰的范围、类型、分布以及每种类型冰的浓度。表面均匀的冰盖可能在厚度、粗糙度和强度上有所不同。SAR数据对于表示这些不同类型的冰盖非常有用。多光谱与 SAR 数据的融合可提升冰雪监测效果。各种研究人员已经将SAR和光学图像融合用于特定的冰监测应用[133, 34, 91]。一些研究人员还使用SAR和光学图像进行了积雪覆盖测绘[151, 145]。
6 最新趋势
最近，由于数据处理技术的进步，SAR和光学图像融合领域的研究正在向多个方向发展。本节讨论其中一些趋势。
深度学习由于深度学习在特征提取和数据表征方面具有良好能力，其也可被用于 SAR 与光学影像等遥感数据的融合。Scarpa等人[136]提出了一种基于卷积神经网络的融合方法，用于融合SAR图像、光学图像和数字高程模型，以估计光学图像中缺失的云覆盖信息。Grohnfeldi等人[54]提出使用深度神经网络，即条件生成对抗网络（cGAN），进行SAR-光学图像融合，以生成无云无雾的光学数据。深度学习方法需要大量的训练数据，这在遥感领域，特别是对于SAR图像，是一项具有挑战性的任务。Schmitt等人[138]发布了一个巨大的训练数据集，即SEN1-2，以促进使用深度学习进行SAR-光学图像融合的研究。该数据集包含282,384对SAR和光学图像块，收集自全球各地并跨越所有季节。Schmitt等人[137]提出了一种使用深度学习算法为SAR数据着色的方法。在这种方法中，配准后的光学数据被用作学习算法的训练数据。这有助于提高SAR图像的可解译性，这是传统的SAR-光学融合算法所不具备的。除此之外，一些研究人员提出了使用深度学习的特征级和决策级融合方法[177, 67, 104]。Zhang等人[176]探索了用于遥感数据的深度学习方法，Liu等人[92]对使用深度学习的像素级融合方法进行了详细综述。Zhang等人[178]提出使用深度学习融合点云和遥感图像，用于3D场景的分割。
数据挖掘 由于遥感卫星空间和光谱分辨率的提高，融合数据集的规模正日益显著增大。对于时序数据的分析，从如此大的数据库中提取关键信息极其重要。数据挖掘正成为解决这一问题的有效手段。数据挖掘与遥感影像融合在融合数据集的分析中发挥着互补作用，具体来说，通过数据挖掘实现的自动地物识别可与融合数据集中的地物识别相结合。由于高光谱和高分辨率成像系统的复杂性日益增加，数据挖掘在融合应用中变得更加重要[118]。Pugh等人[122]利用数据挖掘来研究融合数据在土地利用土地覆盖分类中的效用。Mitsa [101] 探讨了数据挖掘在时序数据集分析中的应用。
云计算 它是一个通过互联网访问数据库、存储和服务器的便捷平台。它对于执行复杂和大规模计算非常有用。由于具有更高空间、光谱和时间分辨率的遥感卫星的快速发展，使用云计算来融合非常大的地球观测数据集已变得至关重要。除此之外，云计算显著降低了成本，因为不需要购买先进的软件和硬件来处理大型遥感图像数据库。这是因为云资源可以按需以相当低的成本获得[118]。Chen等人[20]演示了使用Google Earth Engine的云计算平台集成SAR和光学图像以创建中国的红树林森林地图。
大数据 每天由不同国家的遥感卫星生成大量数据，这些数据可用于各种数据驱动的遥感应用。遥感数据满足大数据的三个标准，即多样性、体量和速度。因此，这是一个大遥感数据时代。Ma等人[96]和Chi等人[24]探索了大数据分析在遥感应用中的挑战和潜力。传统上，遥感数据通过像素级、特征级和决策级技术进行融合。然而，由于大遥感数据在尺度和格式上的差异，传统的融合方法对于大遥感数据不再有用。
7 结论
环绕地球的合成孔径雷达和多光谱传感器捕获电磁波谱不同范围内的信息，并提供关于成像区域的互补信息。因此，SAR-光学图像融合是遥感领域的一个重要研究课题。空间/光谱失真和配准不准是该领域的主要挑战。
尽管存在上述挑战，但由于前面章节讨论的SAR和光学图像融合的必要性，这种融合是未来各种遥感应用的发展方向。这里讨论的融合方法主要分为四类，即分量替换方法、多尺度分解方法、混合方法和基于模型的方法。根据所呈现的文献综述，关于四种主要类型的像素级融合方法得出以下结论。
基于分量替换的融合方法计算复杂度较低且易于实现。本文综述了基于PCA、GS正交化、IHS、Browery变换、HPF和Ehlers融合的融合方法。但这些方法高度依赖于待融合图像之间的相关性，并且由于不同类型传感器通道之间的光谱失配，容易产生严重的光谱失真。
基于多尺度分解的方法在两个域中都提供了良好的定位，从而减少了空间和光谱失真。本文综述了基于金字塔的方法、基于小波的方法和基于方向性多尺度分解的方法。由于小波的方向性有限，基于小波的方法有时导致比分量替换方法更差的空间分辨率。如果使用方向性多尺度分解变换，可以获得更好的结果，但计算复杂度增加。许多研究人员使用非下采样多尺度分解来最小化由于SAR和光学图像配准不当而引起的问题。
混合方法结合了这两种方法的优点。研究发现，涉及方向性多尺度分解与分量替换方法结合的融合方法，比单一方法能生成质量更优的融合产品。综述了使用变分模型和基于稀疏表示方法的基于模型的方法。基于模型的方法具有更高的计算复杂度。除各类融合方法外，此处还讨论了两大类质量指标，用于客观评估融合性能。第一种类型需要参考图像，第二种类型不需要参考图像。文中讨论了Wald协议，以解决参考影像缺失的问题。综述了两种类型的一些重要质量指标。并非所有质量指标都适用于所有应用，需要选择适当的质量指标来评估融合性能。还讨论了使用SAR和光学图像融合的重要遥感应用。最新趋势表明，SAR和光学图像融合的研究正朝着深度学习、数据挖掘、大数据和云计算的方向发展。
文献综述表明，已经为各种遥感应用开发了不同的SAR和光学图像融合方法。图像融合方法具有数据集特异性，且因传感器在几何参数、极化方式、工作频率及分辨率上的差异，需对融合算法参数进行微调。除此之外，SAR和光学图像融合中还存在许多挑战性问题，如多传感器图像配准、源图像中存在的噪声和计算复杂性。随着具备更高分辨率的各类微波遥感卫星与光学遥感卫星的发射，SAR 与光学图像融合仍是一个研究活跃领域，将对各类遥感应用发挥重要作用。
致谢
作者感谢印度海得拉巴国家遥感局(National Remote Sensing Agency）提供必要的SAR和多光谱图像。作者也感谢编辑和匿名审稿人的详细审阅、宝贵评论和建设性建议。本研究未从公共、商业或非营利部门的资助机构获得任何特定补贴。