1. 前言
很多人都有这样的困惑:
"我已经看过很多有关神经网络的书和视频了,但为什么感觉还是似懂非懂呢?"
那是因为,你从来都没有完整的、从头编写并训练过一个神经网络
学习AI相关的算法,尤其是深度学习方向;
真的不是学几个公式,了解几个名词概念就可以的。
因为深度学习,是一门实践课程!
举个例子:
激活函数、损失函数、前向传播和反向传播,这些概念,相信大家都听过。
几个相关的问题,大家看看能不能回答出来。
激活函数:
激活函数必须要有吗?一般要放在哪里?
是放在线性层计算后,还是放在线性层计算前?
或者有没有都可以、放在哪都可以?
损失函数:
损失函数是用来做什么的?
有哪些常用的损失函数?
分类问题用什么损失函数?回归问题用什么损失函数?
前向传播和反向传播:
什么是前向传播、什么又是反向传播?
为什么使用Pytorch,要定义前向传播forward函数?
梯度计算是在前向传播的过程中,还是在反向传播的过程中?
对于上述这些简单问题,如果你觉得很模糊;
好像能回答出来,又好像回答不出来;
那只能说明一个问题:
就是你从来没动手编写过神经网络。
本文,我会具体讲解一个神经网络的编程案例,并附上代码。
大家看完这个案例后,动手写一写,然后再想一想;
就会发现,前面的那些问题,都能迎刃而解。
2. 问题简述
我要使用手写数字识别,这个例子:
来说明到底如何设计、实现并训练一个标准的前馈神经网络。
具体来说,我们要设计并训练一个3层的神经网络:
这个神经网络会以数字图像作为输入。经过神经网络的计算,就会识别出图像中的数字是几,从而实现数字图像的分类。
在这个过程中,重点讲解3个块内容:
1)神经网络的设计和实现
2)训练数据的准备和处理
3)模型的训练和测试流程。
3. 神经网络的设计和实现
首先需要观察数据的样子?
为了设计一个处理数字图像的神经网络,首先要弄清楚输入图像的大小和格式。
其中,分辨率就是是图像的高和宽
可以发现,我们要处理的图片是,28*28像素的灰色单通道图像。
这样的灰色图像,包括了28*28=784个数据点。
每次在处理数字图像时,输入给神经网络的,就是这784个数据点。
在将它输入给神经网络前,这个28*28的二维图片向量,会被展平为1*784大小的一维线性向量【因为我们使用的是线性模型,而非卷积模型】
比如这张图,左侧代表了28*28个像素对应的图像;
右侧是一个展平后的一维向量,包括了x0到x783,一共784个像素点。
这样这个向量才能被神经网络的输入层所接收和处理。
3.1 输入层的设计
我们会使用一个3层神经网络,来处理图片对应的向量x:
如图
输入层需要接收784维的图片向量x。图中的红色箭头,就代表了数据的输入。
x中的每一个维度的数据,都有一个神经元来接收。
因此,输入层就要包含784个神经元。
3.2 隐藏层的设计
隐藏层是指除了输入层的后面层数,也有的是说包含权重的层数,只需要记住,隐藏层的个数等于神经网络层数-1即可。例如本文实现的是3层神经网络,那么隐藏层的个数就是2
隐藏层用于特征提取,它将输入的特征向量,处理为更高级的特征向量。
由于手写数字图像并不复杂,这里就将隐藏层的神经元个数,设置为256。
256就是个经验值,大家也可以设置为128、512,甚至999。
对于手写数字这个问题,并没有太大影响。
这样输入层与隐藏层之间,就会有一个784*256大小的线性层。
它可以将一个784维的输入向量,转换为256维的输出向量。
该输出向量会继续向前传播,到达输出层。
3.3 输出层的设计
由于最终要将数字图像,识别为0到9,10种可能的数字;
因此,输出层需要定义10个神经元,对应这10种数字。
256维的向量,再经过隐藏层和输出层之间的线性层计算后,就得到了10维的输出结果。
这个10维的向量,就是代表了10个数字的预测得分。
不要忘了还得有softmax层!
为了继续得到10个数字的预测概率,我们还要将输出层的输出,输入到softmax层。
softmax层会将10维的向量,转换为10个概率值,p0到p9。
每个概率值,都对应一个数字,也就是输入图片,是某一个数字的可能性。
另外,p0到p9这10个概率值,相加到一起的总和是1。
这是由softmax函数的性质决定的。
以上就是神经网络的设计思路。
3.4 代码实现
对于初学者,我知道很难直接按照这个设计思路,将代码编写出来。
大家最开始的时候,可以先模仿着写,进行练习;
慢慢的自己就会写出完整的模型了。
下面我会基于刚刚的思路,实现Pytorch代码。
如果想进一步理解代码,最好的方式还是将代码编写出来后,然后再将代码跑起来。
首先,定义神经网络Network。
在init函数中:
定义两个线性层layer1和layer2。
layer1和layer2分别是输入层和隐藏层、隐藏层和输出层之间的线性层。
它们的大小分别是784*256和256*10。
也就是右侧图中,红色标记的layer1和layer2。
在前向传播,forward函数中:
函数的输入为图像x。
这个x就是1个或者多个,28*28像素数字图像。
在函数中,需要先将输入的图像x,使用view函数,将x展平。
也就是将n*28*28的数据,展平成n*784的数据。
然后将x输入至layer1;
接着使用relu激活;
最后输入至layer2计算结果,再返回。
另外,需要注意的是:
我没有在forward中直接定义softmax层,
这是因为后面会使用CrossEntropyLoss损失函数。
在这个损失函数中,会实现softmax的计算。
4. 训练数据的准备和处理
如果想要理解一个模型,我们要先理解给它输入的数据。
理解了数据定义和读取,再去看模型,会事半功倍。
4.1 训练数据哪里来?
手写数字识别的训练数据,可以直接使用MNIST数据集。
这个数据集可以从torchvision.datasets中获取。
这里会将数据分别保存到train和test两个目录中,其中:
- train有60000个数据
2)test有10000个数据
它们分别用来模型的训练和测试。
在train和test,这两个目录中,都包括了10个子目录:
子目录的名字就对应了图像中的数字。例如,在名为3的文件夹中,就保存了数字3的图像。
其中图像的名称是随机的字符串签名。
4.2 如何处理和读取这些数据?
完成数据的准备后,实现数据的读取功能,我会基于这一部分的代码进行讲解。
初学者在学习这一部分时,只要知道大致的数据处理流程就可以了。
数据的处理包括三块内容。
第1步,图像数据预处理:
需要实现图像的预处理pipeline,transform。
它包括了将图像转为灰度图和转张量两个功能。
这一步可以简单的理解为,将数组数据处理为训练时所用的张量数据。
第2步,构建数据集对象:
数据集对象的作用,就是用来整体操作训练数据,可以更方便的访问这些数据。
具体来说,使用ImageFolder函数,读取数据文件夹,构建数据集dataset。这个函数会将保存数据的文件夹的名字,作为数据的标签,组织数据。
例如,对于名字为"3"的文件夹,就会将"3"就会作为文件夹中的图像数据的标签。
标签和图像配对,用于后续的训练,ImageFolder使用起来非常方便。
这里我们分别读取训练数据文件夹train和测试数据文件夹test;
这样会得到train_dataset和test_dataset,两个数据集对象。
如果我们此时运行程序,会打印出它们的长度;
会看到,train_dataset是60000,test_dataset是10000。
这就代表了在训练集有60000个数据,测试集中有10000个数据。
第3步,小批量加载数据:
小批量加载数据直接和模型的训练有关。
小批量的数据读取,是训练各类深度学习模型的前提!
以下是创建小批量读取器dataloader的样例代码:
我们会使用train_loader,实现小批量的数据读取。
这里设置小批量的大小,batch_size=64。
也就是每个批次,包括64个数据,一次计算64个数据的梯度!
这时如果运行程序,会打印train_loader的长度,然后看到结果是938。
具体来说,60000个训练数据,如果每个小批量,读入64个样本;
那么60000个数据会被分成938组。
我们可以计算938*64=60032,不足60000;
这就说明最后一组,会不够64个数据。
小批量的遍历数据,是训练的关键前提
我们可以通过循环遍历train_loader来获取每个小批量数据。
这里的每一次循环,都会取出64个图像数据,作为一个小批量batch。
此时如果,打印前3个batch观察:
可以看到数据的尺寸data.shape是64*1*28*28:
它表示了每组数据包括64个图像;
每个图像有1个灰色通道;
图像的尺寸是28*28。
接着打印图像的标签label:
可以看到64个图片对应的数字。
其中保存的数值是0到9,对应了10个数字。
5. 模型训练
实际上,对于训练一个深度学习模型,训练后再测试这个深度学习模型;
这两个过程,都是定式。
也就是,无论你训练的模型简单还是复杂,是前馈神经网络还是Transformer,都是哪几个步骤。
当然,对于一些特殊的神经网络,可能会做一些专门的训练优化。
但本质还是那几个步骤,大家在看下面的讲解时,重点是了解这些步骤;
对于每句代码的具体含义,如果真相搞懂,最好还是将代码写出来,然后进行运行和调试。
相同的数据读入步骤
关于模型的训练,前半部分是图像数据的读入。
包括:
1)图像的预处理transform
2)读入并构造数据集train_dataset
3)使用train_loader进行小批量的数据读入。
这一块和刚刚讲的是一样的。
创建核心对象(变量)
在使用Pytorch训练模型时,需要创建三个核心对象(变量)。
大家要记住,无论训练哪种深度学习模型;
下面说的这三个对象,都要创建!
第1个是:
模型本身model,它就是我们设计的神经网络。
第2个是:
优化器optimizer,它用来优化模型中的参数。
初学的时候,直接使用Adam优化器就可以了。
第3个是:
损失函数criterion,对于分类问题,就直接使用CrossEntropyLoss,交叉熵损失误差;
进入模型的循环迭代
模型的循环迭代,同样是定式!
大家记住,迭代深度学习模型,就是两层循环。
这两层循环,分别是:
表示训练轮数的外层循环;
表示梯度下降的内层循环!
具体来说:
外层循环,代表了整个训练数据集的遍历次数。
整个训练集要循环多少轮,是10次、20次或者100次都是可能的。
这里根据经验,设置为10次。
内层循环使用train_loader,进行小批量的数据读取。
内层循环,每循环一次,就会进行一次梯度下降算法。
梯度下降算法
内层循环所包含的梯度下降算法,包括了5个步骤。
这5个步骤,又是使用pytorch框架训练模型的定式。
初学的时候,可以先记住。
具体来说:
1)计算神经网络的前向传播结果output。
2)计算output和标签label之间的损失loss。
3)使用backward计算梯度。
4)使用optimizer.step更新参数。
5)最后将梯度清零。
另外,我们每迭代100个小批量,就打印一次模型的损失,观察训练的过程。
运行程序,就会观察到,模型的损失loss,不断变小。
最后使用torch.save保存模型,模型名字为mnist.pth。
这个"mnist.pth"就是我们最后得到的神经网络模型;
将来再进行数字图片的预测时,就要用它来识别图像。
6. 模型测试
完成模型训练后,需要对模型进行测试。
测试的流程与训练差不多,我们要测试出模型的效果。
测试的过程,也相当于模型的"使用过程"了。
前面是类似的数据读入和模型定义:
首先需要读取测试数据集test_dataset。
然后定义神经网络模型,并加载刚刚训练好的模型文件mnist.pth。
然后是遍历测试数据集,进行预测,统计正确率:
定义变量right,保存正确识别的数量。
遍历test_dataset,将其中的数据x输入到模型model中,计算结果output。
然后从output中,使用argmax,选择概率最大标签的作为预测结果,保存到predict。
接着对比预测值predict和真实标签y。
这里将识别错误的样本打印了出来。
可以看到错误case的预测值predict、真实值y和文件路径。
最终计算出的测试效果为0.978。
也就是10000个数据,有9779个数据识别正确。
以上就是从零设计并训练神经网络的过程。