分割任务包括 语义分割、实例分割 和 全景分割

在计算机视觉中,分割任务主要包括 语义分割实例分割全景分割,它们有不同的目标和应用。以下是每种任务的简要说明:

1. 语义分割 (Semantic Segmentation)

语义分割的目标是对图像中的每个像素进行分类,即将图像分成不同的语义区域,每个区域包含相同类型的物体或背景。语义分割不区分同类物体的不同实例。例如,图像中的所有"车"像素都被标记为相同的类别,而不管它们是不同的车。

  • 特点: 每个像素被分配一个类别标签。
  • 应用: 自动驾驶、医疗图像分析(例如,肿瘤区域分割)、遥感图像分析等。

例子

  • 在一张街景图像中,语义分割可能将所有人、所有车、所有建筑物等像素分别标记为不同的类别。

2. 实例分割 (Instance Segmentation)

实例分割不仅要进行像素级的分类,还要区分同类物体的不同实例。也就是说,它既要标记每个像素的类别,又要确保不同的实例(即不同的物体)被区分开来。举例来说,若图像中有多辆车,实例分割会将每辆车的像素区域独立标注,避免把它们混在一起。

  • 特点: 既做语义分割,又对同类物体进行区分。
  • 应用: 自动驾驶、机器人抓取、视频监控分析等。

例子

  • 在街景图像中,实例分割不仅会标出所有车辆的像素区域,还会分别标识出不同的车辆。

3. 全景分割 (Panoptic Segmentation)

全景分割结合了语义分割和实例分割的目标,不仅要求对图像中的所有像素进行分类(语义分割),还要求对所有物体实例进行分割(实例分割)。全景分割将每个像素分配一个类别标签,并为每个物体实例分配一个唯一的标识符。它的优势在于同时处理了背景与物体的实例分割任务。

  • 特点: 结合了语义分割和实例分割,全面标注图像中的每个像素,且对背景和物体实例都进行处理。
  • 应用: 自动驾驶、场景理解、增强现实等。

例子

  • 在街景图像中,全景分割不仅会标记出所有车辆、行人、建筑等的类别,还会分别为每辆车、每个人、每座建筑分配不同的实例标识符。

总结

  • 语义分割: 仅区分物体类别,不区分不同实例。
  • 实例分割: 区分同一类别下的不同实例。
  • 全景分割: 综合语义分割与实例分割,全面标注所有像素,处理背景与物体实例。

这些任务在自动驾驶、机器人视觉、医学影像分析等领域都有广泛应用,并且在模型设计上有不同的挑战和要求。

注意,这边红色部分指的是预测值为0而实际非0绿色部分指的是预测为0并且实际也为0灰色部分指的是预测就不为0的区域

对于右边的表格,其含义是在预测标签为X的情况下,实际的标签是0 1 2 3 4的分别有多少个

所以左上角的0 0被预测成 1 2虽然预测结果是错误的,但不属于误判为0这个错误,而是误判为1和2这个错误他们被统计的地方对应右边表格的第二、三行的第一列

分子为预测正确的像素个数,分母为总像素个数TP/(TP+FN)

相关推荐
格林威3 小时前
面阵相机 vs 线阵相机:堡盟与海康相机选型差异全解析 附C++ 实战演示
开发语言·c++·人工智能·数码相机·计算机视觉·视觉检测·工业相机
ACCELERATOR_LLC3 小时前
【DataWhale组队学习】DIY-LLM Task5 大模型的基本训练流程
人工智能·深度学习·大模型·强化学习·模型训练
chaofan9803 小时前
OpenAI重塑设计生产力!GPT-image-2发布:从像素拼接到代理推理的范式跃迁
人工智能·gpt·深度学习·计算机视觉·api
人工智能培训3 小时前
规范实操筑牢防线,全域落地安全物理协作
人工智能·深度学习·神经网络·机器学习·生成对抗网络
数据牧羊人的成长笔记4 小时前
认识深度学习_PyTorch入门+神经网络基础+卷积神经网络+迁移学习+生成对抗网络_GAN+CNN目标检测+循环神经网络与NLP
pytorch·深度学习·神经网络
曦樂~4 小时前
【深度学习】张量创建
人工智能·深度学习
β添砖java4 小时前
深度学习(10)丢弃法
人工智能·深度学习
輕華4 小时前
深度学习目标检测:YOLOv3 原理详解 + LabelMe 数据标注实战
深度学习·yolo·目标检测
开开心心就好4 小时前
专为视障人士设计的免费辅助工具
windows·计算机视觉·计算机外设·excel·散列表·推荐算法·csdn开发云
一只数据集4 小时前
水稻叶片图像与SPAD值标注数据集-140张高质量图像-精准农业机器学习训练数据集
人工智能·深度学习·机器学习