【PyTorch】图像分割

图像分割是什么

Image Segmentation

将图像每一个像素分类

图像分割分类

  1. 超像素分割:少量超像素代替大量像素,常用于图像预处理
  2. 语义分割:逐像素分类,无法区分个体
  3. 实例分割:对个体目标进行分割
  4. 全景分割:语义分割结合实例分割

本文讨论的是语义分割

模型如何完成图像分割

计算机:3-d张量 → 计算机:3-d张量

图像分割由模型与人类配合完成

模型:将数据映射 到特征

人类:定义特征的物理意义,解决实际问题

PyTorch-Hub

PyTorch模型库,有大量模型供开发者调用 Link

1.torch.hub.load('pytorch/vision', 'deeplabv3_resnet101',pretrained=True)

model=torch.hub.load(github, model, *args, **kwargs)
功能:加载模型
主要参数:
- github:str, 项目名,eg:pytorch/vision,<repo_owner/repo_name[:tag_name]>
- model: str, 模型名

2.torch.hub.list(github, force_reload=False)

3.torch.hub.help(github, model, force_reload=False)

深度学习中的图像分割模型

FCN

Fully Convolutional Networks for Semantic Segmentation

最主要贡献:

利用全卷积完成pixelwise prediction

U-Net

U-Net: Convolutional Networks for Biomedical Image Segmentation

DeepLab系列

V1

Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs

主要特点:

  1. 孔洞卷积:借助孔洞卷积,增大感受野
  2. CRF:采用CRF进行mask后处理

V2

DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs

主要特点:

  1. ASPP(Atrous Spatial Pyramid Pooling):解决多尺度问题

V3

Rethinking Atrous Convolution for Semantic Image Segmentation


主要特点:

  1. 孔洞卷积的串行
  2. ASPP的并行

V3+

Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation

主要特点:

deeplabv3基础上机上Encoder-Decoder思想

综述

Deep Semantic Segmentation of Natural and Medical Images: A Review

图像分割资源:

https://github.com/shawnbit/unet-family

https://github.com/yassouali/pytorch-segmentation

Unet实现人像抠图 (Portrait Matting)

数据来源:https://github.com/PetroWu/AutoPortraitMatting

未完待续......

相关推荐
yannan201903139 分钟前
【算法】(Python)动态规划
python·算法·动态规划
埃菲尔铁塔_CV算法11 分钟前
人工智能图像算法:开启视觉新时代的钥匙
人工智能·算法
EasyCVR11 分钟前
EHOME视频平台EasyCVR视频融合平台使用OBS进行RTMP推流,WebRTC播放出现抖动、卡顿如何解决?
人工智能·算法·ffmpeg·音视频·webrtc·监控视频接入
打羽毛球吗️17 分钟前
机器学习中的两种主要思路:数据驱动与模型驱动
人工智能·机器学习
蒙娜丽宁19 分钟前
《Python OpenCV从菜鸟到高手》——零基础进阶,开启图像处理与计算机视觉的大门!
python·opencv·计算机视觉
光芒再现dev20 分钟前
已解决,部署GPTSoVITS报错‘AsyncRequest‘ object has no attribute ‘_json_response_data‘
运维·python·gpt·语言模型·自然语言处理
好喜欢吃红柚子34 分钟前
万字长文解读空间、通道注意力机制机制和超详细代码逐行分析(SE,CBAM,SGE,CA,ECA,TA)
人工智能·pytorch·python·计算机视觉·cnn
小馒头学python39 分钟前
机器学习是什么?AIGC又是什么?机器学习与AIGC未来科技的双引擎
人工智能·python·机器学习
神奇夜光杯1 小时前
Python酷库之旅-第三方库Pandas(202)
开发语言·人工智能·python·excel·pandas·标准库及第三方库·学习与成长
正义的彬彬侠1 小时前
《XGBoost算法的原理推导》12-14决策树复杂度的正则化项 公式解析
人工智能·决策树·机器学习·集成学习·boosting·xgboost