Pytorch代码入门学习之分类任务（二）：定义数据集

一、导包

复制代码

import torch
import torchvision
import torchvision.transforms as transforms

二、下载数据集

2.1 代码展示

python 复制代码

# 定义数据加载进来后的初始化操作：
transform = transforms.Compose([
    # 张量转换：
    transforms.ToTensor(),
    # 归一化操作：
    transforms.Normalize((0.5,0.5,0.5),(0.5,0.5,0.5))
])
 
trainset = torchvision.datasets.CIFAR10(root='./data',train=True,download=True,transform=transform)
testset = torchvision.datasets.CIFAR10(root='./data',train=False,download=True,transform=transform)
trainloader = torch.utils.data.DataLoader(trainset,batch_size=4,shuffle=True,num_workers=0)
testloader = torch.utils.data.DataLoader(testset,batch_size=4,shuffle=False,num_workers=0)

2.2 数据集介绍与下载方式

（1）数据集介绍：

CIFAR10数据集共60000个样本，其中有50000个训练样本和10000个测试样本。每个样本都是一张32*32像素的RGB图像（彩色图像），每个图像分为3个通道（R通道、G通道与B通道）。

CIFAR10数据集用来进行监督学习训练，每个样本包含一个标签值，其中有10类物体，标签值按照0~9来区分，分别是飞机（ airplane ）、汽车（ automobile ）、鸟（ bird ）、猫（ cat ）、鹿（ deer ）、狗（ dog ）、青蛙（ frog ）、马（ horse ）、船（ ship ）和卡车（ truck ）。

CIFAR10数据集的内容，如下图所示。

官网介绍链接：CIFAR-10 and CIFAR-100 datasets (toronto.edu)

（2）下载方式：

①下载文件：下载地址：https://pan.baidu.com/s/1Nh28RyfwPNNfe_sS8NBNUA

提取码：1h4x

②将下载好的文件重命名为cifar-10-batches-py.tar.gz

③将文件保存至相应地址下即可

2.3 transforms.Compose

**transforms.Compose：**相当于将所有需要的操作进行打包；

**transforms.ToTensor：**完成张量转换，pytorch处理的都是tensor数据，需要将读入的图片转换为tensor，其中tensor比普通图片的三通道多了一个通道---batch；

**transforms.Normalize：**归一化操作，对这一批次的数据进行归一，可以加速网络的收敛、放置梯度消失与梯度爆炸。

2.4 Dataset

Dataset是指定义好数据的格式和数据变换的形式，完成一些初始化的变化，然后送给网络（相当于将数据读入进去）。

torchvision.datasets.CIFAR10（调用数据集）：第一个参数为数据集加载的地址、第二个参数为是否是训练数据或测试数据（训练数据为True，测试数据为False）、第三个为download-指该数据集是否本地下载，最后一个参数为要做哪些变化（transform是指数据变换格式，torchvision会将我们需要的数据进行格式变换）。

2.4 Dataloader

Dataloader：负责用iterative迭代的方式不断读入批次数据，一批次一批次将数据进行打包，送入网络进行训练、学习、测试。

**torch.utils.data.DataLoader：**第一个参数为数据，第二个参数为batch_size(代表Dataloader一次从这么多数据中拿多少个数据走)，第三个参数为是否将数据打乱（训练的时候将数据打乱会让数据变得复杂，测试的时候不需要变得复杂），第四个参数为需要几线程进行读取数据（对于windows，默认为0就可以）

三、定义元组

定义元组进行类别名的中文转换：

python 复制代码

classes = ('airplane','automobile','bird','car','deer','dog','frog','horse','ship','truck')

四、定义显示函数与运行数据加载器

4.1 代码展示

python 复制代码

import matplotlib.pyplot as plt
import numpy as np  # 用这个包中的根据将tensor数据转换成矩阵数据
 
def imshow(img):
    img = img / 2 + 0.5
    # tensor数据转换为numpy
    npimg = img.numpy()
    # 使用transpose进行数据转换-通道转换
    plt.imshow(np.transpose(npimg,(1,2,0)))
    plt.show()
 
dataiter = iter(trainloader)
images,labels = dataiter.next()
 
imshow(torchvision.utils.make_grid(images))
 
print(labels)
print(labels[0],classes[labels[0]])
print(' '.join(classes[labels[j]] for j in range(4)))

4.2 定义显示函数

tensor $batch,channel,H,W$ ，而正常显示图片的顺序为H、W、channel，因此需要定义显示函数，通过反归一化才能变成正常的图片去显示。

4.3 定义迭代器

iter(trainloader) ： 定义迭代器，读一次迭代的数据(batch_size=4，所以迭代器一次会读取四张图片)；

**torchvision.utils.make_grid：**将多张图片拼接为一张图片。

参考：003 第一个分类任务1_哔哩哔哩_bilibili