【Python深度学习第二版】学习笔记之——神经网络

首先来说对于神经网络这几章看的很懵,虽然作者已经去掉了数学公式相关内容,讲得已经很想让读者容易理解了,奈何读完还是一知半解,下面就以我目前的理解简单记录一下吧,往后了解的多了再回头看一看。

一、张量运算

作者把张量运算比作神经网络的"齿轮",那么什么是张量呢?

神经网络的数据以张量的形式表示,即存储在多维 NumPy 数组中数据。

对于文本、时间序列、图片、视频数据,分别按不同阶张量表示。

二、双向传播算法

将训练集数据输入到输入层,经过隐藏层,最后达到输出层并输出结果,这是ANN的前向传播过程;

由于每一次训练的输出结果与实际结果有误差,则计算估计值与实际值之间的误差,并将该误差从输出层向隐藏层反向传播,直至传播到输入层;在反向传播的过程中,根据误差调整各种参数的值;不断迭代上述过程,直至收敛。

这其中涉及到的一些知识点有 损失值、优化器、梯度下降。

  • 损失函数(目标函数)------在训练过程中需要将其最小化。它衡量的是当前任务是否成功。
  • 优化器------决定如何基于损失函数对神经网络进行更新。它执行的是随机梯度下降(SGD)的某个变体。
  • 指标 ------衡量成功的标准,在训练和验证过程中需要对其进行监控,如分类精度。与损
    失不同,训练不会直接对这些指标进行优化。因此,指标不需要是可微的。

三、术语表

  • 样本 (sample)或输入(input):进入模型的数据点。
  • 预测 (prediction)或输出(output):模型的输出结果。
  • 目标(target):真实值。对于外部数据源,理想情况下模型应该能够预测出目标。
  • 预测误差 (prediction error)或损失值(loss value):模型预测与目标之间的差距。
  • 类别(class):分类问题中可供选择的一组标签。举例来说,对猫狗图片进行分类时,"猫"和"狗"就是两个类别。
  • 标签(label):分类问题中类别标注的具体实例。如果 1234 号图片被标注为包含类别"狗",那么"狗"就是 1234 号图片的标签。
  • 真实值 (ground-truth)或标注(annotation):数据集的所有目标,通常由人工收集。
  • 二分类(binary classification):一项分类任务,每个输入样本都应被划分到两个互斥的类别中。
  • 多分类(multiclass classification):一项分类任务,每个输入样本都应被划分到两个以上的类别中,比如手写数字分类。
  • 多标签分类(multilabel classification):一项分类任务,每个输入样本都可以被分配多个标签。举个例子,一张图片中可能既有猫又有狗,那么应该同时被标注"猫"标签和"狗"标签。每张图片的标签个数通常是可变的。
  • 标量回归(scalar regression):目标是一个连续标量值的任务。预测房价就是一个很好的例子,不同的目标价格形成一个连续空间。
  • 向量回归(vector regression):目标是一组连续值(比如一个连续向量)的任务。如果对多个值(比如图像边界框的坐标)进行回归,那就是向量回归。
  • 小批量 (mini-batch)或批量(batch):模型同时处理的一小部分样本(样本数通常在 8 和 128 之间)。样本数通常取 2 的幂,这样便于在 GPU 上分配内存。训练时,小批量用于计算一次梯度下降,以更新模型权重。
相关推荐
小哥谈32 分钟前
论文解析篇 | YOLOv12:以注意力机制为核心的实时目标检测算法
人工智能·深度学习·yolo·目标检测·机器学习·计算机视觉
screenCui42 分钟前
macOS运行python程序遇libiomp5.dylib库冲突错误解决方案
开发语言·python·macos
水龙吟啸1 小时前
从零开始搭建深度学习大厦系列-2.卷积神经网络基础(5-9)
人工智能·pytorch·深度学习·cnn·mxnet
小眼睛羊羊1 小时前
pyinstaller打包paddleocr
python
java1234_小锋1 小时前
基于Python的旅游推荐协同过滤算法系统(去哪儿网数据分析及可视化(Django+echarts))
python·数据分析·旅游
蓝婷儿1 小时前
Python 机器学习核心入门与实战进阶 Day 4 - 支持向量机(SVM)原理与分类实战
python·机器学习·支持向量机
%d%d21 小时前
python 在运行时没有加载修改后的版本
java·服务器·python
HollowKnightZ2 小时前
论文阅读笔记:VI-Net: Boosting Category-level 6D Object Pose Estimation
人工智能·深度学习·计算机视觉
yzx9910132 小时前
AI大模型平台
大数据·人工智能·深度学习·机器学习
amazinging2 小时前
北京-4年功能测试2年空窗-报培训班学测开-第四十七天
python·学习·selenium