1 基于扩散概率特征网络的Sentinel-2图像去云去噪
在遥感领域，云污染是严重影响光学卫星图像质量的常见问题。随着深度学习技术的快速发展，云污染问题有望得到解决。在本文中，我们提出了一种新的去噪扩散概率模型-云去除网络(DDPM-CR)，它可以有效地去除光学图像场景中的薄云和厚云。我们的网络利用去噪扩散概率模型(DDPM)体系结构来整合云层光学图像和辅助SAR图像作为输入来提取DDPM特征，为缺失信息检索提供重要信息。此外，我们还提出了一种采用DDPM特征的云移除头，该云移除头具有多尺度的注意力机制来去除云。为了获得更好的网络性能，我们提出了一种面向云的损失，在训练过程中既考虑了高、低频图像信息，又考虑了云区域。烧蚀和对比实验表明，在不同的云环境下，DDPM-CR网络的性能优于其他方法，获得了更好的视觉效果和精度指标(MAE=0.0229，RMSE=0.0268，PSNR=31.7712，SSIM=0.9033)。这些结果表明，DDPM-CR网络是一种很有前途的解决方案，无论是在薄云覆盖区域还是在厚云覆盖区域，特别是在使用辅助信息如SAR数据的情况下。
关键词：云去除；合成孔径雷达光学图像；产生式模型；深度学习
2 总是晴朗的日子:退化类型和严重程度感知一体化的恶劣天气去除
全天候综合恶劣天气去除是图像恢复的新兴主题，旨在通过统一模型恢复多种天气恶化，并面临两大挑战。首先，发现并处理由多种天气条件形成的目标分布中的多域属性。其次，为不同恶化设计高效有效的操作。为解决这一问题，大多数先前的工作侧重于由不同天气类型引起的多域。受到领域间和领域内适应文献的启发，我们观察到，不仅天气类型，而且天气严重程度在每种天气类型领域内引入了多域，这被先前的方法所忽略，进一步限制了它们的性能。为此，我们提出了一种 degradation 类型和严重程度感知模型，称为 UtilityIR，用于盲目全方位恶劣天气图像恢复。为从单个图像中提取天气信息，我们提出了一种新颖的边缘质量排名损失（MQRL），并利用对比损失（CL）指导天气严重程度和类型提取，并利用一系列新技术，如多头交叉注意力（MHCA）和局部-全局自适应实例归一化（LG-AdaIN），以有效地恢复空间变化的天气恶化。所提出的方法在不同天气去除任务上在主观和客观上均可超越最先进的方法，且具有更少的模型参数。提出的方法甚至可以恢复看不见的组合多重恶化图像，并调节恢复水平。实现代码和预训练权重将在 https://github.com/fordevoted/UtilityIR 提供。
3 MSDA-CR 基于多尺度失真感知网络的光学遥感图像去云
云层污染是光学遥感（RS）图像中常见的问题。近年来，基于深度学习的遥感图像云去除引起了越来越多的关注。然而，它仍然具有挑战性，利用有用的多尺度云感知表示从云图像由于缺乏有效的建模云失真的影响和网络的功能表示能力弱。为了规避这些挑战，我们提出了一个多尺度失真感知云去除（MSDA---CR）网络组成的多个云失真感知表示学习（CDARL）模块结合在一个多尺度网格架构。具体而言，云失真控制功能（CDCF）的定义和纳入CDARL模块自适应建模的云干扰在成像过程中引起的失真效果，与可学习的参数利用失真恢复表示。这些表示在MSDA---CR网络中的不同尺度上进一步提取，并基于注意力机制进行集成，以恢复无云图像，同时保留地面物体的空间结构。在可见光和多光谱遥感数据集上进行的大量实验证实了所提出的MSDA---CR网络的有效性。索引术语---云失真，云去除，深度学习，图像恢复，遥感（RS）。
4 超分辨率遥感图像去云的扩散增强方法
摘要:云层的存在严重影响了光学遥感（RS）图像的质量和有效性。然而，现有的基于深度学习（DL）的去云（CR）技术在准确重建图像的原始视觉真实性和详细语义内容方面遇到了困难。为了应对这一挑战，这项工作建议在数据和方法方面进行改进。在数据方面，建立了一个空间分辨率为0.5m的超分辨率基准，命名为CUHK-CR。该基准包含丰富的详细纹理和多样化的云覆盖，为设计和评估CR模型奠定了坚实的基础。从方法论的角度来看，一种新的基于扩散的框架CR称为扩散增强（DE），提出了执行渐进的纹理细节恢复，从而减轻了训练难度，提高推理精度。此外，权重分配（WA）网络的开发，以动态地调整特征融合的权重，从而进一步提高性能，特别是在超分辨率图像生成的上下文中。此外，一个由粗到细的训练策略被应用于有效地加快训练收敛，同时降低了处理超分辨率图像所需的计算复杂度。在新建立的CUHKCR和现有数据集（如RICE）上进行的大量实验证实，所提出的DE框架在感知质量和信号保真度方面优于现有的基于DL的方法。
5 MemoryNet 记忆增强是图像恢复所需要的一切
摘要
图像恢复是一个低层次的视觉任务，大多数CNN方法被设计为一个黑盒子，缺乏透明度和内部美学。虽然已经提出了一些将传统优化算法与DNN相结合的方法，但它们都有一定的局限性。在本文中，我们提出了一个三粒度的记忆层和对比学习称为MemoryNet，具体来说，将样本分为积极的，消极的，和实际的三个样本进行对比学习，其中记忆层能够保持图像的深层特征，对比学习收敛学习的特征，以平衡。在Derain/Deshadow/Deflur任务上的实验表明，这些方法能有效地提高恢复性能。此外，本文的模型在三种不同退化类型的数据集上都获得了显著的PSNR、SSIM增益，这有力地证明了恢复的图像是真实感的。
6 IDF-CR：迭代扩散法去除遥感图像中的分治云
深度学习技术已经证明了它们在去除光学遥感图像中的云层覆盖方面的有效性。卷积神经网络（CNN）在云去除任务中发挥主导作用。然而，受卷积运算固有局限性的约束，CNN只能解决云遮挡的一小部分。近年来，扩散模型 由于其强大的生成能力，在图像生成和重建方面已经达到了最先进的水平（SOTA）。受扩散模型快速发展的启发，本文首先提出了一种迭代扩散去云方法（IDF-CR），该方法具有很强的生成能力，能够实现分量分而治之的去云。IDF-CR由像素空间去云模块（Pixel-CR）和隐空间迭代噪声扩散网络（IND）组成。具体来说，IDF-CR分为两个阶段的模型，解决像素空间和潜在的空间。两阶段模型有助于从初步云减少到细致的细节细化的战略过渡。在像素空间阶段，Pixel-CR启动多云图像的处理，在提供具有先验除云知识的扩散模型之前产生次优的除云。在潜在空间阶段，扩散模型将低质量的云去除转化为高质量的干净输出。我们通过实现ControlNet来改进稳定扩散。此外，一个无监督的迭代噪声细化（INR）模块的扩散模型，以优化预测噪声的分布，从而提高先进的细节恢复。我们的模型表现最好的其他SOTA方法，包括图像重建和光学遥感云去除光学遥感数据集。
7 DiffCR:一种用于光学卫星云图去云的快速条件扩散框架
摘要-光学卫星图像是一种重要的数据源；然而，云层覆盖往往影响其质量，阻碍图像的应用和分析。因此，有效地去除卫星光学图像中的云层已成为一个突出的研究方向。虽然最近在云去除方面的进展主要依赖于生成性对抗性网络，这可能会产生次优的图像质量，但扩散模型在各种图像生成任务中表现出了显著的成功，显示了它们在应对这一挑战方面的潜力。本文提出了一种新的框架DiffCR，该框架利用条件引导扩散和深卷积网络来对光学卫星图像进行高性能的云去除。具体地说，我们引入了一种用于条件图像特征提取的解耦编码器，提供了稳健的颜色表示，以确保条件输入和合成输出之间的外观信息非常相似。此外，我们在云去除模型中提出了一种新颖高效的时间和条件融合块，以较低的计算代价准确地模拟条件图像中的外观与目标图像之间的对应关系。在两个常用的基准数据集上的广泛实验评估表明，DiffCR在所有度量上都一致地达到了最先进的性能，参数和计算复杂度分别仅为以前最好方法的5.1%和5.4%。一旦论文接受了这项工作，源代码、预先训练的模型和所有实验结果将在https://github.com/XavierJiezou/DiffCR上公开提供。
8 用于薄云去除的多头线性注意力生成对抗网络
在遥感图像中，薄云的存在是不可避免的普遍存在的现象，极大地降低了图像的质量，限制了场景应用程序。因此，去除薄云是提高利用率不可或缺的步骤的遥感影像。一般来说，即使被薄云污染，像素仍然保留或多或少的表面信息。因此，不同于厚云的去除，薄云去除算法通常专注于抑制云的影响，而不是替代被云污染的像素。同时，考虑了被云遮挡的地表特征通常与相邻区域相似，输入的每个像素之间的依赖关系是否有用重建污染地区。为此，充分利用像素之间的依赖关系对于图像，本文提出一种用于薄云去除的多头线性注意力生成对抗网络(MLA GAN)。MLA-GAN基于编码-解码框架
由多个基于注意力的层和反卷积层组成。与六深相比基于学习的薄云去除基准，在RICE1和RICE2上进行了实验数据集表明，所提出的框架MLA-GAN在thin方面具有优势云删除。
指标术语-薄云去除，注意力机制，生成对抗网络
9 卫星图像中的云去除
从太空观察和监测地球表面对于应对气候变化、自然资源管理和减灾至关重要。遥感（Remote Sensing, RS）影像在执行这些具有挑战性的操作中起着关键作用。然而，云是常见的因素之一，可能会在场景中产生完全或部分的障碍。卫星通过可见光和红外波段对地球表面进行检查，以捕捉图像。生成的多光谱图像与RGB图像相比具有更多的通道，分别对应不同的波长。大约一半的地球表面被不透明的云层覆盖，另外20%被卷云或薄云遮挡。在某些地方，云层可以连续几个月覆盖感兴趣区域（AOI）。已经有大量研究致力于去除云层并获得卫星图像中的准确像素。这些方法包括传统方法和基于机器学习的解决方案。
10 基于条件变分自编码器的不确定性薄云去除网络
现有的薄云去除方法将这一图像修复任务视为点估计问题，采用确定性的流程生成单一的无云图像。在本文中，我们提出了一种新颖的通过条件变分自编码器（CVAE）实现的薄云去除网络，能够为每个输入的云图像生成多个合理的无云图像。我们通过概率图模型分析图像退化过程，并以编码器-解码器的方式设计网络。由于从潜在空间采样的多样性，所提出的方法可以避免单一估计不准确带来的缺点。通过不确定性分析，我们可以基于这些多个预测生成更准确的清晰图像。此外，我们创建了一个包含真实场景云图和清晰图像对的新基准数据集，克服了在合成数据集上训练导致的泛化性能差的问题。定量和定性实验表明，所提出的方法在真实世界的云图像上显著优于最先进的方法。源码和数据集可在 GitHub - haidong-Ding/Cloud-Removal 获取。
11 遥感图像去云vai空间注意力生成对抗网络
光学遥感影像因其高分辨率和稳定的几何特性被广泛应用于许多领域。然而，遥感影像不可避免地受到气候的影响，特别是云。在对高分辨率遥感卫星影像进行分析之前，去除云是一个不可或缺的预处理步骤。由于大规模训练数据的需求，神经网络在许多图像处理任务中取得了成功，但在去除遥感影像中的云方面，神经网络的应用仍然相对较少。我们采用生成对抗网络（GAN）来解决这一任务，并将空间注意力机制引入遥感影像云去除任务，提出了一种名为空间注意力生成对抗网络（SpA GAN）的模型。该模型模仿人类视觉机制，通过局部到全局的空间注意力识别并聚焦云区域，从而增强这些区域的信息恢复，生成质量更高的无云图像。在与现有云去除模型（条件GAN、循环GAN）在开源RICE数据集上的对比实验中，SpAGAN在峰值信噪比（PSNR）和结构相似性指数（SSIM）方面均取得了最佳性能。实验结果证明了空间注意力机制在提高云去除图像质量方面的有效性以及模型在云去除任务中的优越性能。SpA GAN的代码可以在GitHub - Penn000/SpA-GAN_for_cloud_removal: Cloud Removal for High-resolution Remote Sensing Imagery based on Generative Adversarial Networks. 获取。