学习资料：从零设计并训练一个神经网络，你就能真正理解它了_哔哩哔哩_bilibili
这个视频讲得相当清楚。本文是学习笔记，不是原创，图都是从视频上截图的。
1. 神经网络
2. 案例说明
具体来说，设计一个三层的神经网络。以数字图像作为输入，经过神经网络的计算，识别出图像中的数字是几，从而实现数字图像的分类。
3. 视频讲解内容的提纲
4. 神经网络的设计和实现
我们要处理的数据是28*28像素的灰色通道图像。
这样的灰色图像包括了28*28=784个数据点。需要先将他展平为1*784大小的向量。然后将这个向量输入到神经网络中。
用一个三层神经网络处理图片对应的向量X。输入成需要接收784维的图片向量X。X里面每个维度的数据都有一个神经元来接收。因此输入层要包含784个神经元。
隐藏成用于特征提取特征向量，将输入的特征向量处理成更高级的特征向量。
因为手写数字图像识别并不复杂，所以将隐藏层的神经元个数设置为256。这样，输入层和隐藏层之间就会有个784*256的线性层。它可以将一个784维的输入向量转换为256维的输出向量。
该输出向量会继续向前传播到达输出层。
由于最终要将数字图像识别为0~9，十种可能的数字。因此，输出层需要定义10个神经元，对应这十种数字。
256维的向量在经过隐藏层和输出层之间的线性层计算后，就得到了10维的输出结果。这个10维的向量就代表了10个数字的预测得分。
为了继续得到输出层的预测概率，还要将输出层的输出输入到softmax层。softmax层会将10维的向量转换为10个概率值p0~p9。p0~p9相加的总和等于1.
5. 神经网络的Pytorch实现
import torch
from torch import nn
# 定义神经网络Network
class Network(nn.Module):
def __init__(self):
super().__init__()
# 线性层1，输入层和隐藏层之间的线性层
self.layer1 = nn.Linear(784, 258)
# 线性层2，隐藏层和输出层之间的线性层
self.layer2 = nn.Linear(256, 10)
# 在前向传播，forward函数中，输入为图像x
def forward(self, x):
x = x.view(-1, 28 * 28) # 使用view函数，将x展平
x = self.layer1(x) # 将x输入到layer1
x = torch.relu(x) # 使用relu激活
return self.layer2(x) # 输入至layer2计算结果
# 这里没有直接定义softmax层，因为后面会使用CrossEntropyLoss损失函数
# 在这个损失函数中，会实现softmax的计算
6. 训练数据的准备和处理
from torchvision import transforms
from torchvision import datasets
from torch.utils.data import DataLoader
# 初学只要知道大致的数据处理流程即可
if __name__ == '__main__'
# 实现图像的预处理pipeline
transform = trnasforms.Compose([
# 转换成单通道灰度图
transforms.Grayscale(num_output_channels=1),
# 转换为张量
transforms.ToTensor()
])
# 使用ImageFolder函数，读取数据文件夹，构建数据集dataset
# 这个函数会将保持数据的文件夹的名字，作为数据的标签，组织数据
train_dataset = datasets.ImageFolder(root='./mnist_images/train', transform=transform)
test_dataset = datasets.ImageFolder(root='./mnist_images/test', transform=transform)
# 打印他们的长度
print("train_dataset length: ", len(train_dataset))
print("test_dataset length: ", len(test_dataset))
# 使用train_loader, 实现小批量的数据读取
# 这里设置小批量的大小，batch_size=64. 也就是每个批次，包括64个数据
train_loader = DataLoader(train_datase, batch_size=64, shuffle=True)
# 打印train_loader的长度
print("train_loader length: ", len(train_loader))
# 6000个训练数据，如果每个小批量，读入64个样本，那么60000个数据会被分成938组
# 938*64=60032，说明最后一组不够64个数据
# 循环遍历train_loader
# 每一次循环，都会取出64个图像数据，作为一个小批量batch
for batch_idx, (data, label) in enumerate(train_loader)
if batch_idx == 3:
break
print("batch_idx: ", batch_idx)
print("data.shape: ", data.shape) # 数据的尺寸
print("label: ", label.shape) # 图像中的数字
print(label)
7. 模型的训练和测试
import torch
from torch import nn
from torch import optim
from model import Network
from torchvision import transforms
from torchvision import datasets
from torch.utils.data import DataLoader
if __name__ == '__main__'
# 图像的预处理
transform = transforms.Compose([
transforms.Grayscale(num_output_channels=1),
transforms.ToTensor()
])
# 读入并构造数据集
train_dataset = datasets.ImageFolder(root='./mnist_images/train', transform=transform)
print("train_dataset length: ", len(train_dataset))
# 小批量的数据读入
train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)
print("train_loader length: ", len(train_loader))
# 在使用Pytorch训练模型时，需要创建三个对象：
model = Network() # 1.模型本身，就是我们设计的神经网络
optimizer = optim.Adam(model.parameters()) #2.优化器，优化模型中的参数
criterion = nn.CrossEntropyLoss() #3.损失函数，分类问题，使用交叉熵损失误差
# 进入模型的循环迭代
# 外层循环，代表了整个训练数据集的遍历次数
for epoch in range(10):
# 内层循环使用train_loader, 进行小批量的数据读取
for batch_idx, (data, label) in enumerate(train_loader):
# 内层每循环一次，就会进行一次梯度下降算法
# 包括了5个步骤
# 这5个步骤是使用pytorch框架训练模型的定式，初学时先记住即可
# 1. 计算神经网络的前向传播结果
output = model(data)
# 2. 计算output和标签label之间的损失loss
loss = criterion(output, label)
# 3. 使用backward计算梯度
loss.backward()
# 4. 使用optimizer.step更新参数
optimizer.step()
# 5.将梯度清零
optimizer.zero_grad()
if batch_idx % 100 == 0:
print(f"Epoch {epoch + 1}/10"
f"| Batch {batch_idx}/{len(train_loader)}"
f"| Loss: {loss.item():.4f}"
)
torch.save(model.state_dict(), 'mnist.pth')
from model import Network
from torchvision import transforms
from torchvision import datasets
import torch
if __name__ == '__main__'
transform = transforms.Compose([
transforms.Grayscale(num_output_channels=1),
transforms.ToTensor()
])
# 读取测试数据集
test_dataset = datasets.ImageFolder(root='./mnist_images/test', transform=transform)
print("test_dataset length: ", len(test_dataset))
model = Network() # 定义神经网络模型
model.load_state_dict(torch.load('mnist.pth')) # 加载刚刚训练好的模型文件
rigth = 0 # 保存正确识别的数量
for i, (x, y) in enumerate(test_dataset):
output = model(x) # 将其中的数据x输入到模型
predict = output.argmax(1).item() # 选择概率最大标签的作为预测结果
# 对比预测值predict和真实标签y
if predict == y:
right += 1
else:
# 将识别错误的样例打印出来
img_path = test_dataset.samples[i][0]
print(f"wrong case: predict = {predict} y = {y} img_path = {img_path}")
# 计算出测试效果
sample_num = len(test_dataset)
acc = right * 1.0 / sample_num
print("test accuracy = %d / %d = %.3lf" % (right, sample_num, acc))