第四章 神经网络的学习

从数据中学习

深度学习有时也称为端到端机器学习

为了正确评价模型的泛化能力 ，就必须划分训练数据和测试数据。另外，训练数据也可以称为监督数据

泛化能力 是指处理未被观察过的数据（不包含在训练数据中的数据）的能力

损失函数是表示神经网络性能的"恶劣程度"的指标，即当前的神经网络对监督数据在多大程度上不拟合，在多大程度上不一致。

损失函数

均方误差

def mean_squared_error(y, t):
    return 0.5 * np.sum((y-t)**2)

均方误差会计算神经网络的输出和正确解监督数据的各个元素之差 的平方，再求总和,由所有标签的输出结果决定。

交叉熵误差

交叉熵误差的值是由正确解标签所对应的输出结果决定的。

def cross_entropy_error(y, t):
    delta = 1e-7
    return -np.sum(t * np.log(y + delta))

在进行神经网络的学习时，不能将识别精度作为指标。因为如果以识别精度为指标，则参数的导数在绝大多数地方都会变为0。

识别精度对微小的参数变化基本上没有什么反应，即便有反应，它的值也是不连续地、突然地变化。

因此引入损失函数

利用数值微分求导得到损失函数关于权重参数的梯度

利用微小的差分求导数的过程称为数值微分。

由全部变量的偏导数汇总而成的向量称为梯度

重要性质：梯度指示的方向是各点处的函数值减小最多的方向

学习率决定在一次学习中，应该学习多少，以及在多大程度上更新参数

像学习率这样的参数称为超参数。这是一种和神经网络的参数（权重和偏置）性质不同的参数。

神经网络中，参数由算法训练获得而超参数则由人工设定。

随机梯度下降（SGD）

过拟合是指，虽然训练数据中的数字图像能被正确辨别，但是不在训练数据中的数字图像却无法被识别的现象。

一个epoch 表示学习中所有训练数据均被使用过一次时的更新次数

总结

神经网络用训练数据进行学习，并用测试数据评价学习到的模型的泛化能力。

神经网络的学习以损失函数为指标 ，更新权重参数，以使损失函数的值减小。