第四章 神经网络的学习

从数据中学习

深度学习有时也称为端到端机器学习

为了正确评价模型的泛化能力 ,就必须划分训练数据和测试数据。另外,训练数据也可以称为监督数据

泛化能力 是指处理未被观察过的数据(不包含在训练数据中的数据)的能力

损失函数是表示神经网络性能的"恶劣程度"的指标,即当前的神经网络对监督数据在多大程度上不拟合,在多大程度上不一致。

损失函数

均方误差

python 复制代码
def mean_squared_error(y, t):
    return 0.5 * np.sum((y-t)**2)

均方误差会计算神经网络的输出和正确解监督数据的各个元素之差 的平方,再求总和,由所有标签的输出结果决定

交叉熵误差

交叉熵误差的值是由正确解标签所对应的输出结果决定的。

python 复制代码
def cross_entropy_error(y, t):
    delta = 1e-7
    return -np.sum(t * np.log(y + delta))

在进行神经网络的学习时,不能将识别精度作为指标。因为如果以识别精度为指标,则参数的导数在绝大多数地方都会变为0。

识别精度对微小的参数变化基本上没有什么反应,即便有反应,它的值也是不连续地、突然地变化。

因此引入损失函数

利用数值微分求导得到损失函数关于权重参数的梯度

利用微小的差分求导数的过程称为数值微分。

全部变量的偏导数汇总而成的向量称为梯度

重要性质:梯度指示的方向是各点处的函数值减小最多的方向

学习率决定在一次学习中,应该学习多少,以及在多大程度上更新参数

像学习率这样的参数称为超参数。这是一种和神经网络的参数(权重和偏置)性质不同的参数。

神经网络中,参数由算法训练获得而超参数则由人工设定

随机梯度下降(SGD)

过拟合是指,虽然训练数据中的数字图像能被正确辨别,但是不在训练数据中的数字图像却无法被识别的现象。

一个epoch 表示学习中所有训练数据均被使用过一次时的更新次数

总结

神经网络用训练数据进行学习,并用测试数据评价学习到的模型的泛化能力

神经网络的学习以损失函数为指标更新权重参数,以使损失函数的值减小。

相关推荐
Serendipity_Carl13 分钟前
爬虫数据清洗可视化案例之全球灾害数据
爬虫·python·pycharm·数据可视化·数据清洗
B站计算机毕业设计之家13 分钟前
计算机视觉:YOLO实现目标识别+目标跟踪技术 pyqt界面 OpenCV 计算机视觉 深度学习 计算机(建议收藏)✅
python·opencv·yolo·计算机视觉·目标跟踪·口罩识别
Pluchon38 分钟前
硅基计划2.0 学习总结 玖 图书管理系统 2.0复盘版(文字末尾源码可复制)
java·学习·项目·源码可复制
AI小云1 小时前
【Python高级编程】类属性与类方法
人工智能·python
charlie1145141911 小时前
2D 计算机图形学基础速建——1
笔记·学习·教程·计算机图形学·基础
im_AMBER1 小时前
React 07
前端·笔记·学习·react.js·前端框架
B站计算机毕业设计之家2 小时前
深度学习:YOLOv8人体行为动作识别检测系统 行为识别检测识系统 act-dataset数据集 pyqt5 机器学习✅
人工智能·python·深度学习·qt·yolo·机器学习·计算机视觉
on_pluto_2 小时前
GAN生成对抗网络学习-例子:生成逼真手写数字图
人工智能·深度学习·神经网络·学习·算法·机器学习·生成对抗网络
墨利昂2 小时前
Pytorch常用API(ML和DL)
人工智能·pytorch·python
SunnyDays10112 小时前
Python 裁剪 PDF 教程:轻松裁剪页面并导出为图片
python·pdf裁剪·裁剪pdf页面·裁切pdf