【论文笔记#2】Farseg++：用于高空间分辨率遥感图像地理空间对象分割的前景感知关系网络

论文来源	IEEE Transactions on Pattern Analysis and Machine Intelligence
作者	Zhuo Zheng; Yanfei Zhong; Junjue Wang等
发表年代	2023
使用方法	多分支金字塔编码、前景-场景关系、前景感知解码、前景感知优化
期刊层次	CCF A；计算机科学1区；IF 23.6

原文链接：

Zheng Z, Zhong Y, Wang J, et al. FarSeg++: Foreground-aware relation network for geospatial object segmentation in high spatial resolution remote sensing imagery[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023.

要解决什么问题？

1. 高分遥感图像面临三大问题
   （1）尺度变化
   （2）较大的背景类内变化
   （3）前景-背景不平衡
2. 通用的语义分割方法只关注尺度变化，忽略假警报 和前景-背景不平衡问题

提出的方法：

1. 关系的角度：前景-场景关系模块
   （1）学习场景和前景之间的共生关系，获得前景相关上下文
   （2）提高前景特征，减轻误警报问题
2. 优化的角度：前景感知优化
   抑制背景中的大量简单样本，减轻前景-背景不平衡问题
3. 对象性的角度：前景感知解码器
   采用辅助对象性解码器来改进对象性表示，并且可以在训练后丢弃

具体的结构：

1. FarSeg++的整体结构

2. 多分支编码器

• 通过自上而下的路径和横向连接，可以增强浅层的高空间细节和深层的强语义特征图，这有助于恢复对象的细节和多尺度上下文建模。
• C6是通过全局上下文聚合（全局平均池化）得到的地理空间场景特征

3. 前景场景关系模块

为了解决假警报问题，通过与物景关系相关的前景相关上下文来增强对前景特征的识别。

主要思想：潜在的地理空间场景空间是上下文和场景之间的桥梁。同时，上下文特征可以增强前景特征。

4. 前景感知解码器

（1）基本轻量解码器：以轻量级的方式从前景-场景关系模块恢复关系增强的语义特征图的空间分辨率。

（2）改进FarSeg的经验上界分析：表明在改进的FarSeg中应该进一步考虑丢失对象问题

（3）双任务解码器：额外引入辅助对象性解码器来预测每一个像素的对象性得分

5. 前景感知优化

关注前景的网络和背景中的困难样本，来实现平衡的优化

（1）困难样本评估：通过获得样本困难程度的权重，来调整逐像素损失的分布

（2）动态加权：缓解早期训练中因为困难样本评估不确定而导致的不稳定性

（3）反向传播

6. UV6K:一个城市汽车分割数据集

7. 实验