【PyTorch】图像多分类项目

【PyTorch】图像二分类项目

【PyTorch】图像二分类项目-部署

【PyTorch】图像多分类项目

【PyTorch】图像多分类项目部署
多类图像分类的目标是为一组固定类别中的图像分配标签。

目录

加载和处理数据

搭建模型

定义损失函数

定义优化器

训练和迁移学习

用随机权重进行训练

用预训练权重进行训练

---

加载和处理数据

将使用 PyTorch torchvision 包中提供的 STL-10 数据集，数据集中有 10 个类：飞机、鸟、车、猫、鹿、狗、马、猴、船、卡车。图像为96*96像素的RGB图像。数据集包含 5,000 张训练图像和 8,000 张测试图像。在训练数据集和测试数据集中，每个类分别有 500 和 800 张图像。

from torchvision import datasets
import torchvision.transforms as transforms
import os

path2data="./data"
# 如果数据路径不存在，则创建
if not os.path.exists(path2data):
    os.mkdir(path2data)
    
# 定义数据转换
data_transformer = transforms.Compose([transforms.ToTensor()])
    
# 从datasets库中导入STL10数据集，并指定数据集的路径、分割方式、是否下载以及数据转换器
train_ds=datasets.STL10(path2data, split='train',download=True,transform=data_transformer)

# 打印数据形状
print(train_ds.data.shape)

若数据集导入较慢可直接下载：http://ai.stanford.edu/~acoates/stl10/stl10_binary.tar.gz

import collections

# 获取标签
y_train=[y for _,y in train_ds]

# 统计标签
counter_train=collections.Counter(y_train)
print(counter_train)

# 加载数据
test0_ds=datasets.STL10(path2data, split='test', download=True,transform=data_transformer)
# 打印数据形状
print(test0_ds.data.shape)

# 导入StratifiedShuffleSplit模块
from sklearn.model_selection import StratifiedShuffleSplit

# 创建StratifiedShuffleSplit对象，设置分割次数为1，测试集大小为0.2，随机种子为0
sss = StratifiedShuffleSplit(n_splits=1, test_size=0.2, random_state=0)

# 获取test0_ds的索引
indices=list(range(len(test0_ds)))

# 获取test0_ds的标签
y_test0=[y for _,y in test0_ds]

# 对索引和标签进行分割
for test_index, val_index in sss.split(indices, y_test0):
    # 打印测试集和验证集的索引
    print("test:", test_index, "val:", val_index)
    # 打印测试集和验证集的大小
    print(len(val_index),len(test_index))

# 从torch.utils.data中导入Subset类
from torch.utils.data import Subset

# 从test0_ds中选取val_index索引的子集，赋值给val_ds
val_ds=Subset(test0_ds,val_index)
# 从test0_ds中选取test_index索引的子集，赋值给test_ds
test_ds=Subset(test0_ds,test_index)

import collections
import numpy as np

# 获取标签
y_test=[y for _,y in test_ds]
y_val=[y for _,y in val_ds]

# 统计测试集和验证集的标签数量
counter_test=collections.Counter(y_test)
counter_val=collections.Counter(y_val)

# 打印测试集和验证集的标签数量
print(counter_test)
print(counter_val)

from torchvision import utils
import matplotlib.pyplot as plt
import numpy as np
%matplotlib inline

# 设置随机种子为0
np.random.seed(0)

# 定义一个函数，用于显示图像
def show(img,y=None,color=True):
    # 将图像转换为numpy数组
    npimg = img.numpy()
    # 将图像的维度从（C,H,W）转换为（H,W,C）
    npimg_tr=np.transpose(npimg, (1,2,0))
    # 显示图像
    plt.imshow(npimg_tr)
    # 如果有标签，则显示标签
    if y is not None:
        plt.title("label: "+str(y))
        
# 定义网格大小
grid_size=4
# 随机生成4个索引
rnd_inds=np.random.randint(0,len(train_ds),grid_size)
print("image indices:",rnd_inds)

# 从训练集中获取这4个索引对应的图像和标签
x_grid=[train_ds[i][0] for i in rnd_inds]
y_grid=[train_ds[i][1] for i in rnd_inds]

# 将这4个图像拼接成一个网格
x_grid=utils.make_grid(x_grid, nrow=4, padding=2)
print(x_grid.shape)

# 调用helper函数显示网格
plt.figure(figsize=(10,10))
show(x_grid,y_grid)

# 设置随机种子为0 
np.random.seed(0)

# 设置网格大小
grid_size=4
# 从验证数据集中随机选择grid_size个索引
rnd_inds=np.random.randint(0,len(val_ds),grid_size)
print("image indices:",rnd_inds)

# 从验证数据集中选择对应的图像
x_grid=[val_ds[i][0] for i in rnd_inds]
# 从验证数据集中选择对应的标签
y_grid=[val_ds[i][1] for i in rnd_inds]

# 将图像排列成网格
x_grid=utils.make_grid(x_grid, nrow=4, padding=2)
print(x_grid.shape)

# 调用辅助函数
plt.figure(figsize=(10,10))
# 显示网格图像和标签
show(x_grid,y_grid)

import numpy as np

# 计算训练集中每个样本的RGB均值
meanRGB=[np.mean(x.numpy(),axis=(1,2)) for x,_ in train_ds]  
# 计算训练集中每个样本的RGB标准差
stdRGB=[np.std(x.numpy(),axis=(1,2)) for x,_ in train_ds]  

meanR=np.mean([m[0] for m in meanRGB])  # 计算所有样本的R通道均值的平均值
meanG=np.mean([m[1] for m in meanRGB])  
meanB=np.mean([m[2] for m in meanRGB])  

stdR=np.mean([s[0] for s in stdRGB])  # 计算所有样本的R通道标准差的平均值
stdG=np.mean([s[1] for s in stdRGB])  
stdB=np.mean([s[2] for s in stdRGB])  

print(meanR,meanG,meanB)  # 打印R、G、B通道的均值
print(stdR,stdG,stdB)  # 打印R、G、B通道的标准差

# 定义训练数据的转换器
train_transformer = transforms.Compose([
    # 随机水平翻转，翻转概率为0.5
    transforms.RandomHorizontalFlip(p=0.5),  
    # 随机垂直翻转，翻转概率为0.5
    transforms.RandomVerticalFlip(p=0.5),  
    # 将图像转换为张量
    transforms.ToTensor(),
    # 对图像进行归一化，均值和标准差分别为meanR, meanG, meanB和stdR, stdG, stdB
    transforms.Normalize([meanR, meanG, meanB], [stdR, stdG, stdB])])
                 

# 定义测试数据的转换器
test0_transformer = transforms.Compose([
    # 将图像转换为张量
    transforms.ToTensor(),
    # 对图像进行归一化，均值和标准差分别为meanR, meanG, meanB和stdR, stdG, stdB
    transforms.Normalize([meanR, meanG, meanB], [stdR, stdG, stdB]),
    ])   

# 将训练数据集的转换器赋值给训练数据集的transform属性
train_ds.transform=train_transformer
# 将测试数据集的转换器赋值给测试数据集的transform属性
test0_ds.transform=test0_transformer

import torch
import numpy as np
import matplotlib.pyplot as plt

# 设置随机种子
np.random.seed(0)
torch.manual_seed(0)

# 定义网格大小
grid_size=4

# 从训练数据集中随机选择grid_size个样本的索引
rnd_inds=np.random.randint(0,len(train_ds),grid_size)
print("image indices:",rnd_inds)

# 根据索引从训练数据集中获取对应的样本
x_grid=[train_ds[i][0] for i in rnd_inds]
y_grid=[train_ds[i][1] for i in rnd_inds]

# 将样本转换为网格形式
x_grid=utils.make_grid(x_grid, nrow=4, padding=2)
print(x_grid.shape)

# 创建一个10x10的图像
plt.figure(figsize=(10,10))
# 显示网格和对应的标签
show(x_grid,y_grid)

from torch.utils.data import DataLoader

# 创建训练数据集的DataLoader，batch_size为32，shuffle为True，表示每次迭代时都会打乱数据集
train_dl = DataLoader(train_ds, batch_size=32, shuffle=True)
# 创建验证数据集的DataLoader，batch_size为64，shuffle为False，表示每次迭代时不会打乱数据集
val_dl = DataLoader(val_ds, batch_size=64, shuffle=False)  

# 遍历训练数据集
for x, y in train_dl:
    # 打印x的形状
    print(x.shape)
    # 打印y的形状
    print(y.shape)
    # 跳出循环
    break

# 遍历val_dl中的每个元素，x和y分别表示输入和标签
for x, y in val_dl:
    # 打印输入的形状
    print(x.shape)
    # 打印标签的形状
    print(y.shape)
    # 退出循环
    break

# 从datasets库中导入FashionMNIST数据集，并将其设置为训练集
fashion_train=datasets.FashionMNIST(path2data, train=True, download=True)

搭建模型

使用torchvision为多分类任务构建一个模型。torchvision软件包提供了用于图像分类的多个最先进的深度学习模型的实现，包括 AlexNet、VGG、ResNet、SqueezeNet、DenseNet、Inception、GoogleNet、ShuffleNet。这些模型在 ImageNet 数据集上进行了训练，其中包含来自 1,000 个班级的 1400 多万张图像。可以分别使用具有随机初始化权重的架构、预训练权重进行尝试。

from torchvision import models
import torch

# 创建一个resnet18模型，pretrained参数设置为False，表示不使用预训练的权重
model_resnet18 = models.resnet18(pretrained=False)
# 打印模型ResNet18
print(model_resnet18)

from torch import nn
# 定义类别数量
num_classes=10
# 获取模型ResNet18的全连接层输入特征数量
num_ftrs = model_resnet18.fc.in_features 
# 将全连接层替换为新的全连接层，输出特征数量为类别数量
model_resnet18.fc = nn.Linear(num_ftrs, num_classes)

# 定义设备为GPU
device = torch.device("cuda:0")
# 将模型移动到GPU上
model_resnet18.to(device)

from torchsummary import summary

# 打印模型结构，输入大小为(3, 224, 224)，即3个通道，224x224大小的图像
summary(model_resnet18, input_size=(3, 224, 224))

# 遍历模型ResNet18的参数
for w in model_resnet18.parameters():
    # 将参数转换为CPU数据
    w=w.data.cpu()
    # 打印参数的形状
    print(w.shape)
    break

# 计算参数的最小值
min_w=torch.min(w)
# 计算w1，其中w1 = (-1/(2*min_w))*w + 0.5 
w1 = (-1/(2*min_w))*w + 0.5 
# 打印w1的最小值和最大值
print(torch.min(w1).item(),torch.max(w1).item())

# 计算网格大小
grid_size=len(w1)
# 生成网格
x_grid=[w1[i] for i in range(grid_size)]
x_grid=utils.make_grid(x_grid, nrow=8, padding=1)
print(x_grid.shape)

# 创建一个5x5的图像
plt.figure(figsize=(5,5))
show(x_grid)

采用预训练权重

from torchvision import models
import torch

# 加载预训练的resnet18模型
resnet18_pretrained = models.resnet18(pretrained=True)

# 定义分类的类别数
num_classes=10
# 获取resnet18模型的最后一层全连接层的输入特征数
num_ftrs = resnet18_pretrained.fc.in_features
# 将最后一层全连接层替换为新的全连接层，新的全连接层的输出特征数为num_classes
resnet18_pretrained.fc = nn.Linear(num_ftrs, num_classes)

# 定义设备为cuda:0
device = torch.device("cuda:0")
# 将模型移动到cuda:0设备上
resnet18_pretrained.to(device) 

# 遍历resnet18_pretrained的参数
for w in resnet18_pretrained.parameters():
    # 将参数转换为cpu格式
    w=w.data.cpu()
    print(w.shape)
    break

# 计算w的最小值
min_w=torch.min(w)
# 计算w1，其中w1=(-1/(2*min_w))*w + 0.5
w1 = (-1/(2*min_w))*w + 0.5 
# 打印w1的最小值和最大值
print(torch.min(w1).item(),torch.max(w1).item())

# 计算w1的网格大小
grid_size=len(w1)
# 将w1转换为网格形式
x_grid=[w1[i] for i in range(grid_size)]
x_grid=utils.make_grid(x_grid, nrow=8, padding=1)
print(x_grid.shape)

# 创建一个5x5的图像
plt.figure(figsize=(5,5))
show(x_grid)

定义损失函数

定义损失函数的目的是将模型优化为预定义的指标。分类任务的标准损失函数是交叉熵损失或对数损失。在定义损失函数时，需要考虑模型输出的数量及其激活函数。对于多类分类任务，输出数设置为类数，输出激活函数确确定损失函数。

输出激活	输出数量	损失函数
None	num_classes	nn.CrossEntropyLoss
log_Softmax	num_classes	nn.NLLLoss

torch.manual_seed(0)

# 定义输入数据的维度
n,c=4,5
# 生成随机输入数据，并设置requires_grad=True，表示需要计算梯度
y = torch.randn(n, c, requires_grad=True)
# 打印输入数据的形状
print(y.shape)

# 定义交叉熵损失函数，reduction参数设置为"sum"，表示将所有样本的损失相加
loss_func = nn.CrossEntropyLoss(reduction="sum")
# 生成随机目标数据，表示每个样本的类别
target = torch.randint(c,size=(n,))
# 打印目标数据的形状
print(target.shape)

# 计算损失
loss = loss_func(y, target)
# 打印损失值
print(loss.item())

# 反向传播，计算梯度
loss.backward()
# 打印输出y的值
print (y.data)

定义优化器

torch.optim 包提供了通用优化器的实现。优化器将保持当前状态，并根据计算出的梯度更新参数。对于分类任务，随机梯度下降 （SGD） 和 Adam 优化器非常常用。Adam 优化器在速度和准确性方面通常优于 SGD，因此这里选择 Adam 优化器。

from torch import optim
# 定义优化器，使用Adam优化算法，优化model_resnet18的参数，学习率为1e-4
opt = optim.Adam(model_resnet18.parameters(), lr=1e-4)
# 定义一个函数，用于获取优化器的学习率
def get_lr(opt):
    # 遍历优化器的参数组
    for param_group in opt.param_groups:
        # 返回学习率
        return param_group['lr']

# 调用函数，获取当前学习率
current_lr=get_lr(opt)
# 打印当前学习率
print('current lr={}'.format(current_lr))

from torch.optim.lr_scheduler import CosineAnnealingLR

# 创建学习率调度器，T_max表示周期长度，eta_min表示最小学习率
lr_scheduler = CosineAnnealingLR(opt,T_max=2,eta_min=1e-5)
# 定义一个空列表lrs
lrs=[]
# 循环10次
for i in range(10):
    # 调用lr_scheduler.step()方法
    lr_scheduler.step()
    # 调用get_lr()方法获取当前学习率
    lr=get_lr(opt)
    # 打印当前epoch和对应的学习率
    print("epoch %s, lr: %.1e" %(i,lr))
    # 将当前学习率添加到列表lrs中
    lrs.append(lr)
# 绘制lrs列表中的数据
plt.plot(lrs)

训练和迁移学习

到目前为止，已经创建了数据集并定义了模型、损失函数和优化器，接下来将进行训练和验证。首先使用随机初始化的权重训练模型。然后使用预先训练的权重训练模型，这也称为迁移学习。迁移学习将从一个问题中学到的知识（权重）用于其他类似问题。训练和验证脚本可能很长且重复。为了提高代码可读性并避免代码重复，将先构建一些辅助函数。

# 定义一个函数metrics_batch，用于计算预测结果和目标之间的正确率
def metrics_batch(output, target):
    # 将输出结果的最大值所在的索引作为预测结果
    pred = output.argmax(dim=1, keepdim=True)
    
    # 计算预测结果和目标之间的正确率
    corrects=pred.eq(target.view_as(pred)).sum().item()
    # 返回正确率
    return corrects
def loss_batch(loss_func, output, target, opt=None):
    # 计算batch的损失
    loss = loss_func(output, target)
    # 计算batch的评估指标
    metric_b = metrics_batch(output,target)
    
    # 如果有优化器，则进行反向传播和参数更新
    if opt is not None:
        opt.zero_grad()
        loss.backward()
        opt.step()

    # 返回损失和评估指标
    return loss.item(), metric_b

device = torch.device("cuda")

# 定义一个函数loss_epoch，用于计算模型在数据集上的损失
def loss_epoch(model,loss_func,dataset_dl,sanity_check=False,opt=None):
    # 初始化运行损失和运行指标
    running_loss=0.0
    running_metric=0.0
    # 获取数据集的长度
    len_data=len(dataset_dl.dataset)

    # 遍历数据集
    for xb, yb in dataset_dl:
        # 将数据移动到GPU上
        xb=xb.to(device)
        yb=yb.to(device)
        
        # 获取模型输出
        output=model(xb)
        
        # 计算当前批次的损失和指标
        loss_b,metric_b=loss_batch(loss_func, output, yb, opt)
        
        # 累加损失和指标
        running_loss+=loss_b
        
        if metric_b is not None:
            running_metric+=metric_b

        # 如果是sanity_check模式，则只计算一个批次
        if sanity_check is True:
            break
    
    # 计算平均损失和指标
    loss=running_loss/float(len_data)
    
    metric=running_metric/float(len_data)
    
    # 返回平均损失和指标
    return loss, metric

def train_val(model, params):
    # 获取参数
    num_epochs=params["num_epochs"]
    loss_func=params["loss_func"]
    opt=params["optimizer"]
    train_dl=params["train_dl"]
    val_dl=params["val_dl"]
    sanity_check=params["sanity_check"]
    lr_scheduler=params["lr_scheduler"]
    path2weights=params["path2weights"]
    
    # 初始化损失和指标历史记录
    loss_history={
        "train": [],
        "val": [],
    }
    
    metric_history={
        "train": [],
        "val": [],
    }
    
    # 复制模型参数
    best_model_wts = copy.deepcopy(model.state_dict())
    
    # 初始化最佳损失
    best_loss=float('inf')
    
    # 遍历每个epoch
    for epoch in range(num_epochs):
        
        # 获取当前学习率
        current_lr=get_lr(opt)
        print('Epoch {}/{}, current lr={}'.format(epoch, num_epochs - 1, current_lr))
        
        # 训练模型
        model.train()
        train_loss, train_metric=loss_epoch(model,loss_func,train_dl,sanity_check,opt)

        # 记录训练损失和指标
        loss_history["train"].append(train_loss)
        metric_history["train"].append(train_metric)
        
        # 评估模型
        model.eval()
        with torch.no_grad():
            val_loss, val_metric=loss_epoch(model,loss_func,val_dl,sanity_check)
        
        # 如果验证损失小于最佳损失，则更新最佳损失和最佳模型参数
        if val_loss < best_loss:
            best_loss = val_loss
            best_model_wts = copy.deepcopy(model.state_dict())
            
            # 将最佳模型参数保存到本地文件
            torch.save(model.state_dict(), path2weights)
            print("Copied best model weights!")
        
        # 记录验证损失和指标
        loss_history["val"].append(val_loss)
        metric_history["val"].append(val_metric)
        
        # 更新学习率
        lr_scheduler.step()

        # 打印训练损失、验证损失和准确率
        print("train loss: %.6f, dev loss: %.6f, accuracy: %.2f" %(train_loss,val_loss,100*val_metric))
        print("-"*10) 

    # 加载最佳模型参数
    model.load_state_dict(best_model_wts)
        
    # 返回模型、损失历史和指标历史
    return model, loss_history, metric_history

用随机权重进行训练

import copy

# 定义交叉熵损失函数，reduction参数设置为"sum"，表示将所有样本的损失相加
loss_func = nn.CrossEntropyLoss(reduction="sum")
# 定义Adam优化器，优化模型参数，学习率为1e-4
opt = optim.Adam(model_resnet18.parameters(), lr=1e-4)
# 定义余弦退火学习率调度器，T_max参数设置为5，eta_min参数设置为1e-6
lr_scheduler = CosineAnnealingLR(opt,T_max=5,eta_min=1e-6)

# 定义训练参数字典
params_train={
 "num_epochs": 3,  # 训练轮数
 "optimizer": opt,  # 优化器
 "loss_func": loss_func,  # 损失函数
 "train_dl": train_dl,  # 训练数据集
 "val_dl": val_dl,  # 验证数据集
 "sanity_check": False,  # 是否进行sanity check
 "lr_scheduler": lr_scheduler,  # 学习率调度器
 "path2weights": "./models/resnet18.pt",  # 模型权重保存路径
}

# 训练和验证模型
model_resnet18,loss_hist,metric_hist=train_val(model_resnet18,params_train)

# 获取训练参数中的训练轮数
num_epochs=params_train["num_epochs"]

# 绘制训练和验证损失曲线
plt.title("Train-Val Loss")
plt.plot(range(1,num_epochs+1),loss_hist["train"],label="train")
plt.plot(range(1,num_epochs+1),loss_hist["val"],label="val")
plt.ylabel("Loss")
plt.xlabel("Training Epochs")
plt.legend()
plt.show()

# 绘制训练和验证准确率曲线
plt.title("Train-Val Accuracy")
plt.plot(range(1,num_epochs+1),metric_hist["train"],label="train")
plt.plot(range(1,num_epochs+1),metric_hist["val"],label="val")
plt.ylabel("Accuracy")
plt.xlabel("Training Epochs")
plt.legend()
plt.show()

用预训练权重进行训练

import copy

# 定义损失函数，使用交叉熵损失，并设置reduction为sum
loss_func = nn.CrossEntropyLoss(reduction="sum")
# 定义优化器，使用Adam优化器，并设置学习率为1e-4
opt = optim.Adam(resnet18_pretrained.parameters(), lr=1e-4)
# 定义学习率调度器，使用余弦退火调度器，设置最大周期为5，最小学习率为1e-6
lr_scheduler = CosineAnnealingLR(opt,T_max=5,eta_min=1e-6)

# 定义训练参数
params_train={
 "num_epochs": 3,  # 设置训练周期为3
 "optimizer": opt,  # 设置优化器
 "loss_func": loss_func,  # 设置损失函数
 "train_dl": train_dl,  # 设置训练数据集
 "val_dl": val_dl,  # 设置验证数据集
 "sanity_check": False,  # 设置是否进行sanity check
 "lr_scheduler": lr_scheduler,  # 设置学习率调度器
 "path2weights": "./models/resnet18_pretrained.pt",  # 设置权重保存路径
}

# 调用train_val函数进行训练和验证，并返回训练后的模型、损失历史和指标历史
resnet18_pretrained,loss_hist,metric_hist=train_val(resnet18_pretrained,params_train)

# 获取训练参数中的训练轮数
num_epochs=params_train["num_epochs"]

# 绘制训练和验证损失曲线
plt.title("Train-Val Loss")
plt.plot(range(1,num_epochs+1),loss_hist["train"],label="train")
plt.plot(range(1,num_epochs+1),loss_hist["val"],label="val")
plt.ylabel("Loss")
plt.xlabel("Training Epochs")
plt.legend()
plt.show()

# 绘制训练和验证准确率曲线
plt.title("Train-Val Accuracy")
plt.plot(range(1,num_epochs+1),metric_hist["train"],label="train")
plt.plot(range(1,num_epochs+1),metric_hist["val"],label="val")
plt.ylabel("Accuracy")
plt.xlabel("Training Epochs")
plt.legend()
plt.show()