基于FCN网络实现的多类别图像分割任务

1、前言

FCN 作为图像分割的开山之作,将分割任务作为逐个像素点的分类任务

之前完成了基于unet、resnet+unet、deeplab等等网络的分割任务,具体的可以参考本专栏:

图像分割_听风吹等浪起的博客-CSDN博客

因为FCN网络的实现较为复杂,当然有很多现成的代码实现FCN分割网络。不过torchvision中其实已经封装好了,这里我们直接利用这个torchvision完成即可

2、具体实现的思路

这里介绍代码实现的逻辑,具体的参考之前文章

2.1 数据处理

首先是对数据的处理,因为要完成的分割是属于有监督学习,并且label是和数据同样size的灰度图像,所以两者间的对应特别重要

有的label标签是全黑的,或者是那种白色区域很明显的,其实都是一样的。

因为图像分割是逐个像素点的分类任务,而你把分类的值设为1(全黑)或者255(白色区域)其实是一样的,只不过加载数据的时候需要处理下

这里还是使用之前博文unet处理的方式,通过便利mask图像,找到灰度值有几类,这样其实就是分割网络的输出有几类。

如下,可以看到总共有5个灰度值,也就代表了这个数据集是五分割的任务,0代表背景,也算作分割之一

需要注意的是,网络的输出是需要呈0 1 2 这种自然数,因为5分割的输出是5个特征图,而特征图的索引就是0 1 2 3 4,含义是每个特征图负责预测某个灰度值。

例如猫、狗、猪,三个分类任务,最后输出的张量必须是3,在3中找出最大概率的那个索引就是对应猫、狗、猪的某一类。

而网络是不知道猫、狗、猪是什么玩意,只知道0 1 2 ,我们人为规定0是猫、2是猪。

这里dataset的实现如下:

2.2 FCN网络的实现

torchvision给了我们两个backbone,resnet50和resnet101,这里我们全部实现。

其中weights参数是是否导入官方的预训练权重

2.3 数据预处理

预处理是黑匣子,对于分割这种任务,知道预处理后的图像是什么样子很有必要,这里也实现一下

其中控制台会输出这样,这样是正常的,可以看到mask的灰度值被映射到了0 1 2 3 4中

需要注意的是,如果出现了255是正常的,因为这里使用了多尺度的随机缩放,255负责填充,在train的时候,代码会自动忽略255的部分

不过有的时候出现255,上面的图像可能会出现异常。

个人猜测,plt会自动将灰度图像调色,这样哪怕mask灰度靠的很近也会很明显的展示。要是出现255的话,调色可能会冲突?

3、对比实验

这里利用FCN对腹部多脏器的五分割进行实验,效果如下:

这里仅仅测试了20个epoch,网络并未收敛

resnet50:

resnet101:

4、代码使用

训练脚本的超参数如下:

  • backbone 选择resnet50 or resnet101作为FCN的特征提取网络
  • pretrained 是否载入官方预训练权重
  • base_size 在这个值的基础上对图像进行随机缩放0.8倍-1.2倍之间
  • crop_size 中心裁剪,这个值可以设置为数据的大小
  • img_f、mask_f :用于加载数据,因为有的数据和mask图像的文件名不一致,导致找不到对应的标签。在这里填入相应的后缀即可
  • vis 是否保存预处理数据的结果

数据的摆放还是和以前一样

输出的文件:

依次为:权重、mask灰度值信息、loss和iou分别在train和test数据集上的曲线、学习率衰减曲线、训练日志、可视化数据图像

训练控制台打印如下:

代码位置: 基于FCN网络对腹部多脏器数据集的5分割实战资源-CSDN文库

相关推荐
哥布林学者4 分钟前
吴恩达深度学习课程五:自然语言处理 第三周:序列模型与注意力机制(四)语音识别和触发字检测
深度学习·ai
才兄说16 分钟前
机器人租售怎么嵌?按流程节点
人工智能
logic_518 分钟前
关于VIT为啥可以用卷积代替第一层嵌入层
人工智能·神经网络·cnn
小康小小涵20 分钟前
改进型深度Q-网格DQN和蒙特卡洛树搜索MCTS以及模型预测控制MPC强化学习的机器人室内导航仿真
人工智能·机器人·自动驾驶
PNP机器人20 分钟前
突破机器人操作瓶颈!接触感知神经动力学,让仿真与现实无缝对齐
人工智能·机器人
美狐美颜sdk27 分钟前
直播美颜sdk与智能美妆技术解析:实时人脸算法如何驱动新一代互动体验
人工智能·音视频·美颜sdk·视频美颜sdk·美狐美颜sdk
hit56实验室29 分钟前
【易经系列】《屯卦》:six four:乘马班如,求婚媾,往吉,无不利
人工智能
阿杰学AI33 分钟前
AI核心知识80——大语言模型之Slow Thinking和Deep Reasoning(简洁且通俗易懂版)
人工智能·ai·语言模型·自然语言处理·aigc·慢思考·深度推理
qq_124987075336 分钟前
基于协同过滤算法的运动场馆服务平台设计与实现(源码+论文+部署+安装)
java·大数据·数据库·人工智能·spring boot·毕业设计·计算机毕业设计