FCN语义分割算法原理与实战

FCN语义分割算法原理与实战

本文若有舛误,尚祈诸君不吝斧正,感激不尽。

前提概要:所使用的材料来源

对应视频材料:FCN语义分割
虽然可能比较简单但是奠定了使用卷积神经网络做语义分割任务的基础。
语义分割:输入图片,经过网络模型,输出原始图片对应像素的类别。

FCN语义分割算法原理

主流常见的计算机视觉任务
  • 图像分类
  • 目标检测
  • 语义分割
  • 实例分割
  • and so on


FCN模型如何进行语义分割

语义分割任务:输出的是矩阵与输入图像大小一致,输出后的每个像素有对应类别的概率,映射原图中对应位置的类别。

FCN模型输出结果解析

假设标注20个类别,则最终输出结果是21个类别,因为还有一个背景类别。

输入HxW -->net --> HxWxC 注意:C(通道数)=分类个数+背景

转置卷积先导
转置卷积的计算过程

输入特征 * 卷积核 = 输出特征


FCN网络版本解析

采取了很多跳转连接方法

全卷积网络为什么可以接收任意大小的输入?
FCN网络的损失函数

损失函数是像素级的分类交叉熵(Pixel-wise Softmax + Cross-Entropy Loss)

语义分割算法模型的评价指标(import!)

常用的包含以下四个:

  • Pixel Accuracy 像素准确率

    • 所有被正确分类的像素所占的比例
    • 特点:直观简单,但对于类分布极度不均衡的数据(如++背景占比很大++)会有"准确率虚高"的问题

  • Mean Accuracy 平均类别准确率

    • 每个类别的像素准确率的平均值
    • 特点:可以平衡类间分布不均的问题,但是++对于小类极为敏感++

  • Mean IoU 平均交并比

    • 每个类别的交并比(IoU)的平均值 (语义分割中最常用的评价指标之一!)
    • 特点:++对每一类都很公平++,能反映模型在小类上的表现

  • Frequency Weighted IoU 频率加权交并比
    • 考虑类别在数据中出现频率的IoU加权平均
    • 特点:类似Mean IU,但考虑了每类像素的数量,更贴近数据真实分布。++避免了某些稀有类对平均结果的影响++

像素准确率和平均类别准确率的案例:

平均交并比案例:

FCN语义分割网络结构讲解

背景:标准的 FCN 论文(Fully Convolutional Networks for Semantic Segmentation, 2015)本身是基于 VGG 构建的,并没有显式使用 bottleneck 结构,但后续很多工作(比如 DeepLab 系列、FCN-ResNet 等)将 FCN 与 ResNet 等网络结合。所有FCN有一些不同结构的版本。

右侧的图片为整体的流程图,最后输出的大小是480 x 480 x 21,其中的21(通道数)表示21个类别。
Bottleneck:

结构图中的Bottleneck构建了四个基本的层,这四个层就是resnet的主干网络。

核心代码:

膨胀卷积:

亦称为空洞卷积,可以增加卷积核的感受野,同时不增加计算量。核心思想是通过插入空洞卷积扩展卷积核的有效感受野,使其捕获更大范围的上下文信息。

注意:代码中的dilation默认为1则表示普通卷积,大于1的情况下表示膨胀卷积。

原版的Resnet中没有使用膨胀卷积。
FCNHead:

头部层对应代码

相关推荐
LateFrames4 分钟前
用 【C# + Winform + MediaPipe】 实现人脸468点识别
python·c#·.net·mediapipe
新加坡内哥谈技术1 小时前
Claude Code 的魔力
人工智能
北邮刘老师2 小时前
关于智能体互联协议标准的130天
人工智能·大模型·智能体·智能体互联网
人工干智能3 小时前
科普:Python 中,字典的“动态创建键”特性
开发语言·python
LGL6030A3 小时前
算法题实战积累(3)——方块转换(C语言)
c语言·算法
一条星星鱼3 小时前
深度学习是如何收敛的?梯度下降算法原理详解
人工智能·深度学习·算法
Elastic 中国社区官方博客4 小时前
AutoOps:简单的 Elasticsearch 集群监控与管理现已支持本地部署
大数据·人工智能·elasticsearch·搜索引擎·云计算·全文检索
金井PRATHAMA6 小时前
语义网络对人工智能自然语言处理中深层语义分析的影响与启示
人工智能·自然语言处理·知识图谱
长路归期无望6 小时前
C语言小白实现多功能计算器的艰难历程
c语言·开发语言·数据结构·笔记·学习·算法
程序猿阿伟6 小时前
《重构工业运维链路:三大AI工具让设备故障“秒定位、少误判”》
运维·人工智能·重构