SSF-CNN：空间光谱融合的卷积光谱图像超分网络

SSF-CNN: SPATIAL AND SPECTRAL FUSION WITH CNN FOR HYPERSPECTRAL IMAGE SUPER-RESOLUTION

文章目录

[SSF-CNN: SPATIAL AND SPECTRAL FUSION WITH CNN FOR HYPERSPECTRAL IMAGE SUPER-RESOLUTION](#SSF-CNN: SPATIAL AND SPECTRAL FUSION WITH CNN FOR HYPERSPECTRAL IMAGE SUPER-RESOLUTION)

简介

本文提出了一种利用空间和光谱进行高光谱融合图像超分辨率的新型CNN架构，首先是对高光谱图像进行双三次插值 ，使其空间分辨率大小和多光谱一致，然后进行concat操作 。使用类似于SRCNN的网络框架对融合超分的图像进行优化，最后输出高分辨率高光谱超分图像。

对于PDCon，也就是引入了部分密集连接，将输入concat到每一个卷积层后面。
Hyperspectral-Image-Super-Resolution-Benchmark------光谱图像超分基准-CSDN博客
Paper : IEEE
Code ：https://github.com/miraclefan777/SSFCNN

解决问题

传统方法通过基于优化的方法恢复 HR-HS 图像的质量在很大程度上取决于预定义的约束。此外，由于约束项数量较多，优化过程通常涉及较高的计算成本。
执行HSI SR的一个直接想法是直接应用这样的网络来放大LR-HS图像的空间维度或HR-RGB图像的光谱维度，我们称之为Spatial-CNN和Spectral-CNN，这两种单图像方法忽略了两种图像特有的信息互补优势。

网络框架

原始的SRCNN是将图片映射到Ycbcr空间，并只使用其中的 Y 分量作为输入来预测 HR Y 图像，该论文则是将图片的通道信息以及空间信息整个进行输入
原始SRCNN卷积核大小第1，2修改为3*3，增加上下文信息，同时为了避免高维数据（padding为same，保持和原有特征图大小一致）

代码实现

python 复制代码

class SSFCNNnet(nn.Module):
    def __init__(self, num_spectral=31, scale_factor=8, pdconv=False):
        super(SSFCNNnet, self).__init__()
        self.scale_factor = scale_factor
        self.pdconv = pdconv

        self.Upsample = nn.Upsample(mode='bicubic', scale_factor=self.scale_factor)

        self.conv1 = nn.Conv2d(num_spectral + 3, 64, kernel_size=3, padding="same")
        if pdconv:
            self.conv2 = nn.Conv2d(64 + 3, 32, kernel_size=3, padding="same")
            self.conv3 = nn.Conv2d(32 + 3, num_spectral, kernel_size=5, padding="same")
        else:
            self.conv2 = nn.Conv2d(64, 32, kernel_size=3, padding="same")
            self.conv3 = nn.Conv2d(32, num_spectral, kernel_size=5, padding="same")

        self.relu = nn.ReLU(inplace=True)

    def forward(self, lr_hs, hr_ms):
        """
            :param lr_hs:LR-HSI低分辨率的高光谱图像
            :param hr_ms:高分辨率的多光谱图像
            :return:
        """
        # 对LR-HSI低分辨率图像进行上采样，让其分辨率更高
        lr_hs_up = self.Upsample(lr_hs)
        # 将上采样后的LR-HSI低分辨率图像与高分辨率的多光谱图像进行拼接
        x = torch.cat((lr_hs_up, hr_ms), dim=1)

        x = self.relu(self.conv1(x))
        if self.pdconv:
            x = torch.cat((x, hr_ms), dim=1)
            x = self.relu(self.conv2(x))
            x = torch.cat((x, hr_ms), dim=1)
        else:
            x = self.relu(self.conv2(x))

        out = self.conv3(x)
        return out

如果需要使用密集连接，只需要在初始化网络模型时，传参pdconv=True

训练部分

未提供自定义dataset类，根据自己的dateset进行参数的修改即可。