这项工作研究了图像语义分割的问题。当前方法主要集中在挖掘"局部"上下文，即通过特别设计的上下文聚合模块（例如，扩张卷积，神经注意力）或结构感知的优化目标（例如，类IoU损失）来挖掘单个图像内像素之间的依赖关系。然而，它们忽略了训练数据的"全局"上下文，即不同图像之间像素的丰富语义关系。受最近在无监督对比表示学习方面的进步的启发，我们提出了一个称为PiCo的像素级对比算法，用于在完全监督的学习设置中进行语义分割。核心思想是强制同一语义类别的像素嵌入比不同类别的嵌入更相似。它提出了一个针对语义分割的像素级度量学习范式，通过显式探索标记像素的结构，这在以前很少被研究。我们的训练算法与现代分割解决方案兼容，测试时无需额外开销。我们通过实验表明，与著名的分割模型（即DeepLabV3, HRNet, OCRNet, SegFormer, Segmenter, MaskFormer）和骨架（即MobileNet, ResNet, HRNet, MiT, ViT）相结合，我们的算法在不同数据集（即Cityscapes, ADE20K, PASCAL-Context, COCO-Stuff, CamVid）上带来了持续的性能改进。我们希望这项工作将鼓励我们的社区重新思考语义分割中当前的事实上的训练范式。我们的代码可在github.com/tfzhou/Cont...
在语义分割中，最常见的优化标准是softmax交叉熵损失，这是一种单元监督形式。它通过独立地惩罚每个像素来处理逐像素分类，但忽略了不同像素之间的强相关性。因此，用交叉熵训练的方法在本质上缺乏判别能力，特别是在视觉证据不明显或空间结构较小的情况下。为了解决这个问题，研究了几种结构性损失21-23。具体来说，AAF21是一种成对损失，它匹配标签空间中相邻像素之间的关系。RMI23和Lovasz22都是定义在像素团块的统计数据上的高阶损失；前者最大化地面真相和预测之间的区域级别的互信息，而后者直接优化平均交并比标准。我们的像素对比损失，捕获了像素对之间的依赖性，也是一种成对损失。然而，与仅模拟单个图像内局部像素关系的现有损失不同，我们的对比损失探索了训练数据集中所有像素的全局结构。这些损失的定量比较在§4.5中提供。
方法详解
Preliminaries
其实看完之后，感觉创新力度也不是很大。。突然不想写了，大致来说是把无监督表征学习的信息损失NCE，还有对比学习的memory bank的思路，用在了有监督的框架中。
下面是对比学习的infoNCE：
