【西瓜书】神经网络-BP算法（反向传播算法）

系列文章目录

误差逆传播算法（BP算法、反向传播算法）

误差逆传播（error BackPropagation，简称BP）算法，也叫反向传播算法，是解决多层网络的杰出代表。
值得指出的是，BP算法不仅可用于++多层前馈神经网络++，还可以用于其他类型的神经网络。

来自西瓜书-P102

约定记号：
- 神经网络的输出：
- 均方误差为：
BP算法是一个迭代学习算法。在迭代的每一轮中采用广义的感知机学习规则对参数进行更新估计，任意参数v的更新估计算式为：
BP算法基于梯度下降（gradient descent）策略，以目标的负梯度方向对参数进行调整。对误差E_k，给定学习率η，有
- 根据"链式法则"，有
- 根据定义（见图）：
- Sigmoid函数的性质：
- 因此：
- 可得：
类似可得：
其中，
学习率 η∈(0, 1) 控制着算法每一轮迭代中的更新步长，若太大则容易震荡，太小则收敛速度又会过慢。
BP算法的目标是要最小化训练集D上的累计误差:
"标准BP算法"每次仅针对一个训练样例更新连接权和阈值。

累积误差逆传播算法

如果推导出基于累积误差最小化的更新规则，就是累积误差逆传播（accumulated error backpropagation）算法。两种算法都很常用。

BP训练

读取训练集一遍，称为进行了"一轮"（one round，也叫 one epoch）学习。
标准BP算法和累积BP算法的区别类似于随机梯度下降与标准梯度下降之间的区别。
如何设置隐藏神经元的个数，是个未决问题。实际应用中通常用"试错法"（trial-by-error）调整。
由于其强大的表示能力，BP神经网络经常遭遇过拟合，其训练误差持续降低，但测试误差却可能上升。有两种策略常用来缓解BP网络的过拟合：
- 第1种："早停"（early stop），将数据分成训练集和验证集，训练集用来计算梯度、更新连接权和阈值，验证集用来估计误差，若训练集误差降低但验证集误差升高，则停止训练，同时返回具有最小验证集误差的连接权和阈值。
- 第2种："正则化"（regularization），基本思想是在误差目标函数中增加一个用于描述网络复杂度的部分。例如连接权与阈值的平方和。增加连接权与阈值平方和这一项后，训练过程将会偏好比较小的连接权和阈值，使网络输出更加"光滑"，从而对过拟合有所缓解。
神经网络的训练过程可看作一个参数寻优过程，即在参数空间中寻找一组最优参数，使得E最小。

最小值与极小值

两种最优："局部极小"（local minimum）和"全局最小"（global minimum）。直观的看，
- 局部极小点，是参数空间中的某个点，其邻域点的误差函数值均不小于该点的函数值；
- 全局最小解，则是指参数空间中所有点的误差函数值均不小于该点的误差函数值。
- 全局最小一定是局部极小，反之则不成立。
在参数寻优过程中，希望找到全局最小。
基于梯度的搜索是使用最为广泛的参数寻优方法。
- 从某些初始解出发，迭代寻找最优参数值。
- 每次迭代中，先计算误差函数在当前的梯度，然后根据梯度确定搜索方向。例如由于负梯度方向是函数值下降最快的方向，因此梯度下降法就是沿着负梯度方向搜索最优解。若误差函数在当前点的梯度为0，则已达到局部极小，更新量降为0，这意味着参数的迭代更新将因此停止。
如果有多个极小值，就称参数寻优陷入局部极小。
现实任务中常使用以下策略来跳出局部极小：
- 以多种不同参数值初始化多个神经网络，按标准方法训练后，取其中误差最小的解作为最终参数。这相当于从多个不同的初始点开始搜索。
- 使用"模拟退火"（simulated annealing）技术。模拟退火在每一步都有一定概率接受比当前解更差的结果，从而有助于"跳出"局部极小。但是也会造成跳出全局最小。
- 使用梯随机梯度下降（stochastic gradient descent，简称SGD），随机梯度下降法在计算梯度时加入了随机因素，因此即便陷入局部极小点，计算出来的梯度仍然可能不为零，这就有机会跳出。
- 遗传算法（genetic algorithms）也常用来训练神经网络，以更好的逼近全局最小。
- 上述跳出局部极小的技术大多是启发式，理论上常缺乏保障。