本次学习系统涵盖了图像分割的核心概念、应用场景、技术分类、数据集、评估指标及核心网络结构，形成了完整的知识体系，以下是详细总结。
一、图像分割核心定义与前景背景划分
核心定义
图像分割是细粒度的像素级分类任务，核心目标是预测目标轮廓，将图像中不同像素划分到对应类别。
前景与背景分类
- 物体（Things）：可数的前景目标，比如行人、车辆等具体对象。
- 事物（Stuff）：不可数的背景元素，例如天空、草地、路面等场景环境。
二、图像分割的三层技术境界
语义分割（Semantic Segmentation）
- 核心要求：每个像素仅归属一个类别，输出结果为掩膜（Mask）。
- 关键特点：只关注像素的类别属性，不区分同类别的不同个体。
实例分割（Instance Segmentation）
- 核心要求：仅针对前景目标，需同时预测类别属性、边框及个体 ID。
- 关键特点：允许单个像素属于多个 ID，重点区分同类别的不同实例。
全景分割（Panoptic Segmentation）
- 核心要求：融合语义分割与实例分割，为每个像素分配语义类别和唯一实例 ID。
- 关键特点：同时覆盖前景实例与背景场景，实现全图像素的完整分类与区分。
三、主流数据集详解
VOC 数据集
- 类别设置：包含 4 大类、20 小类，以常见物体和场景为主要标注对象。
- 数据规模：VOC 2007 含 9963 张图片、24640 个目标；VOC 2012 含 23080 张图片、54900 个目标；标注图共 2913 张，其中训练图 1464 张、验证图 1449 张。
- 核心用途：2007 年起支持语义分割和实例分割标注，是计算机视觉领域的经典基准数据集。
Cityscape 数据集
- 数据特点：涵盖 50 个城市在春夏秋三季、不同时间段和场景的街景图。
- 类别设置：共 30 个类别，包含道路、行人、车辆、建筑等街景核心元素。
- 数据规模：5000 张精细标注图（训练 2975 张、验证 500 张、测试 1525 张），20000 张粗略标注图。
- 核心用途：专注于语义分割和实例分割，适用于自动驾驶等街景相关任务。
COCO 数据集
- 数据特点：以复杂日常场景为主要选取对象，侧重场景理解能力的评估。
- 类别设置：共 91 类，以人类 4 岁小孩可辨识为标准，其中 82 类拥有超过 5000 个实例。
- 核心用途：适用于多类场景下的图像分割任务，对模型的场景适应性要求较高。
四、语义分割核心评估指标
基础精度指标
- 逐像素分类精度（Pixel Accuracy, PA）：直接计算所有像素中分类正确的比例。
- 平均像素精度（Mean Pixel Accuracy, MPA）：先计算每个类别内正确分类的像素比例，再取所有类别的平均值。
交并比相关指标
- 前景目标交并比（IoU）：计算预测结果与真实标注的交集面积和并集面积的比值。
- 平均交并比（mIoU）：所有类别的 IoU 数值的平均值，是语义分割的核心评估指标。
- 加权交并比（FWIoU）：根据每个类别在数据集中的出现概率，为 mIoU 赋予对应权重后计算得出。
五、图像分割网络核心模块与转置卷积
网络核心模块
- 卷积模块：核心功能是提取图像的特征信息，为后续分割提供特征支撑。
- 反卷积模块：核心功能是通过上采样操作，将卷积提取的低维特征图恢复到原始图像尺度。
转置卷积（反卷积）原理
- 卷积操作：输入为 4×4 特征图，使用 3×3 卷积核，输出为 2×2 特征图，通过矩阵乘法实现特征压缩。
- 反卷积操作：输入为 2×2 特征图，使用 3×3 卷积核，输出为 4×4 特征图，本质是卷积的转置运算。
- 核心关系：卷积与反卷积呈转置关系，通过稀疏矩阵运算实现特征图的缩放转换，是网络上采样的关键技术。