【PyTorch】图像分割

图像分割是什么

Image Segmentation

将图像每一个像素分类

图像分割分类

  1. 超像素分割:少量超像素代替大量像素,常用于图像预处理
  2. 语义分割:逐像素分类,无法区分个体
  3. 实例分割:对个体目标进行分割
  4. 全景分割:语义分割结合实例分割

本文讨论的是语义分割

模型如何完成图像分割

计算机:3-d张量 → 计算机:3-d张量

图像分割由模型与人类配合完成

模型:将数据映射 到特征

人类:定义特征的物理意义,解决实际问题

PyTorch-Hub

PyTorch模型库,有大量模型供开发者调用 Link

1.torch.hub.load('pytorch/vision', 'deeplabv3_resnet101',pretrained=True)

复制代码
model=torch.hub.load(github, model, *args, **kwargs)
功能:加载模型
主要参数:
- github:str, 项目名,eg:pytorch/vision,<repo_owner/repo_name[:tag_name]>
- model: str, 模型名

2.torch.hub.list(github, force_reload=False)

3.torch.hub.help(github, model, force_reload=False)

深度学习中的图像分割模型

FCN

Fully Convolutional Networks for Semantic Segmentation

最主要贡献:

利用全卷积完成pixelwise prediction

U-Net

U-Net: Convolutional Networks for Biomedical Image Segmentation

DeepLab系列

V1

Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs

主要特点:

  1. 孔洞卷积:借助孔洞卷积,增大感受野
  2. CRF:采用CRF进行mask后处理

V2

DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs

主要特点:

  1. ASPP(Atrous Spatial Pyramid Pooling):解决多尺度问题

V3

Rethinking Atrous Convolution for Semantic Image Segmentation


主要特点:

  1. 孔洞卷积的串行
  2. ASPP的并行

V3+

Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation

主要特点:

deeplabv3基础上机上Encoder-Decoder思想

综述

Deep Semantic Segmentation of Natural and Medical Images: A Review

图像分割资源:

https://github.com/shawnbit/unet-family

https://github.com/yassouali/pytorch-segmentation

Unet实现人像抠图 (Portrait Matting)

数据来源:https://github.com/PetroWu/AutoPortraitMatting

未完待续......

相关推荐
MidJourney中文版37 分钟前
深度报告:中老年AI陪伴机器人需求分析
人工智能·机器人
William.csj1 小时前
Pytorch/CUDA——flash-attn 库编译的 gcc 版本问题
pytorch·cuda
王上上1 小时前
【论文阅读41】-LSTM-PINN预测人口
论文阅读·人工智能·lstm
智慧化智能化数字化方案1 小时前
69页全面预算管理体系的框架与落地【附全文阅读】
大数据·人工智能·全面预算管理·智慧财务·智慧预算
PyAIExplorer1 小时前
图像旋转:从原理到 OpenCV 实践
人工智能·opencv·计算机视觉
Wilber的技术分享1 小时前
【机器学习实战笔记 14】集成学习:XGBoost算法(一) 原理简介与快速应用
人工智能·笔记·算法·随机森林·机器学习·集成学习·xgboost
巴里巴气1 小时前
selenium基础知识 和 模拟登录selenium版本
爬虫·python·selenium·爬虫模拟登录
19892 小时前
【零基础学AI】第26讲:循环神经网络(RNN)与LSTM - 文本生成
人工智能·python·rnn·神经网络·机器学习·tensorflow·lstm
JavaEdge在掘金2 小时前
Redis 数据倾斜?别慌!从成因到解决方案,一文帮你搞定
python
ansurfen2 小时前
我的第一个AI项目:从零搭建RAG知识库的踩坑之旅
python·llm