【Python深度学习第二版】学习笔记之——神经网络

首先来说对于神经网络这几章看的很懵,虽然作者已经去掉了数学公式相关内容,讲得已经很想让读者容易理解了,奈何读完还是一知半解,下面就以我目前的理解简单记录一下吧,往后了解的多了再回头看一看。

一、张量运算

作者把张量运算比作神经网络的"齿轮",那么什么是张量呢?

神经网络的数据以张量的形式表示,即存储在多维 NumPy 数组中数据。

对于文本、时间序列、图片、视频数据,分别按不同阶张量表示。

二、双向传播算法

将训练集数据输入到输入层,经过隐藏层,最后达到输出层并输出结果,这是ANN的前向传播过程;

由于每一次训练的输出结果与实际结果有误差,则计算估计值与实际值之间的误差,并将该误差从输出层向隐藏层反向传播,直至传播到输入层;在反向传播的过程中,根据误差调整各种参数的值;不断迭代上述过程,直至收敛。

这其中涉及到的一些知识点有 损失值、优化器、梯度下降。

  • 损失函数(目标函数)------在训练过程中需要将其最小化。它衡量的是当前任务是否成功。
  • 优化器------决定如何基于损失函数对神经网络进行更新。它执行的是随机梯度下降(SGD)的某个变体。
  • 指标 ------衡量成功的标准,在训练和验证过程中需要对其进行监控,如分类精度。与损
    失不同,训练不会直接对这些指标进行优化。因此,指标不需要是可微的。

三、术语表

  • 样本 (sample)或输入(input):进入模型的数据点。
  • 预测 (prediction)或输出(output):模型的输出结果。
  • 目标(target):真实值。对于外部数据源,理想情况下模型应该能够预测出目标。
  • 预测误差 (prediction error)或损失值(loss value):模型预测与目标之间的差距。
  • 类别(class):分类问题中可供选择的一组标签。举例来说,对猫狗图片进行分类时,"猫"和"狗"就是两个类别。
  • 标签(label):分类问题中类别标注的具体实例。如果 1234 号图片被标注为包含类别"狗",那么"狗"就是 1234 号图片的标签。
  • 真实值 (ground-truth)或标注(annotation):数据集的所有目标,通常由人工收集。
  • 二分类(binary classification):一项分类任务,每个输入样本都应被划分到两个互斥的类别中。
  • 多分类(multiclass classification):一项分类任务,每个输入样本都应被划分到两个以上的类别中,比如手写数字分类。
  • 多标签分类(multilabel classification):一项分类任务,每个输入样本都可以被分配多个标签。举个例子,一张图片中可能既有猫又有狗,那么应该同时被标注"猫"标签和"狗"标签。每张图片的标签个数通常是可变的。
  • 标量回归(scalar regression):目标是一个连续标量值的任务。预测房价就是一个很好的例子,不同的目标价格形成一个连续空间。
  • 向量回归(vector regression):目标是一组连续值(比如一个连续向量)的任务。如果对多个值(比如图像边界框的坐标)进行回归,那就是向量回归。
  • 小批量 (mini-batch)或批量(batch):模型同时处理的一小部分样本(样本数通常在 8 和 128 之间)。样本数通常取 2 的幂,这样便于在 GPU 上分配内存。训练时,小批量用于计算一次梯度下降,以更新模型权重。
相关推荐
chao_7895 分钟前
更灵活方便的初始化、清除方法——fixture【pytest】
服务器·自动化测试·python·pytest
心情好的小球藻34 分钟前
Python应用进阶DAY9--类型注解Type Hinting
开发语言·python
都叫我大帅哥36 分钟前
LangChain加载HTML内容全攻略:从入门到精通
python·langchain
静心问道38 分钟前
TrOCR: 基于Transformer的光学字符识别方法,使用预训练模型
人工智能·深度学习·transformer·多模态
亲持红叶41 分钟前
GLU 变种:ReGLU 、 GEGLU 、 SwiGLU
人工智能·深度学习·神经网络·激活函数
惜.己1 小时前
使用python读取json数据,简单的处理成元组数组
开发语言·python·测试工具·json
都叫我大帅哥2 小时前
Python的Optional:让你的代码优雅处理“空值”危机
python
曾几何时`4 小时前
基于python和neo4j构建知识图谱医药问答系统
python·知识图谱·neo4j
写写闲篇儿6 小时前
Python+MongoDB高效开发组合
linux·python·mongodb
杭州杭州杭州8 小时前
Python笔记
开发语言·笔记·python