深度学习个人学习简明笔记
待更新
文章目录
- [1 深度学习概论](#1 深度学习概论)
-
- [1.1 基本概念](#1.1 基本概念)
- [1.2 分类](#1.2 分类)
- [1.3 主要应用](#1.3 主要应用)
- [2 神经网络基础](#2 神经网络基础)
-
- [2.1 神经网络组成](#2.1 神经网络组成)
- [2.2 前向传播与反向传播](#2.2 前向传播与反向传播)
- [2.3 超参数](#2.3 超参数)
- [2.4 激活函数](#2.4 激活函数)
- [2.5 优化方法](#2.5 优化方法)
-
- [2.5.1 基本梯度下降方法](#2.5.1 基本梯度下降方法)
- [2.5.2 动量梯度下降](#2.5.2 动量梯度下降)
- [2.5.3 Adam优化器](#2.5.3 Adam优化器)
- [3 卷积神经网络(CNN)](#3 卷积神经网络(CNN))
-
- [3.1 基本概念与结构](#3.1 基本概念与结构)
- [3.2 经典卷积网络](#3.2 经典卷积网络)
- [4 循环神经网络(RNN)](#4 循环神经网络(RNN))
1 深度学习概论
1.1 基本概念
机器学习 （Machine Learning）包括：模型、学习准则、优化方法。传统的机器学习需经过原始数据，数据预处理，特征提取，特征转换，预测（浅层学习）。
深度学习（Deep Learning）：一般是指通过训练多层网络结构对未知数据进行分类或回归，是一个复杂的机器学习算法，具有自动提取抽象特征的能力。
思想：通过构建多层网络，对目标进行多层表示，以期通过多层的高层次特征来表示数据的抽象语义信息，获得更好的特征鲁棒性。
1.2 分类
有监督学习 ：深度前馈网络、卷积神经网络、循环神经网络等
无监督学习：深度信念网、深度玻尔兹曼机，深度自编码器等
1.3 主要应用
- 图像处理：图像分类、物体检测、图像分割、图像回归等
- 语音识别：语音识别、声纹识别、语音合成等
- 自然语言处理：语言模型、情感分析、机器翻译等
- 其他综合应用：图像描述、图像生成、视频生成等
2 神经网络基础
2.1 神经网络组成
感知机 ：最小单元为神经元 （Neuron），很多个神经元连接起来形成一个错综复杂的网络，称为神经网络（Neural Network）。机器学习中的神经网络一般指的是人工神经网络（Artificial Neural Network, ANN）。
多层感知机 ：由感知机推广而来，有多个神经元层，因此也叫深度神经网络（Deep Neural Network, DNN）
神经网络的训练流程：初始化参数，切分batch数据，前向传播（得到预测值），建立损失函数，反向传播（更新参数）
2.2 前向传播与反向传播
前向传播 （Foward Propagation, FP）：作用于每一层的输入，通过逐层计算得到输出结果。
反向传播（Backward Propagation, BP）作用于网络的输出，通过计算梯度由深到浅更新网络参数。
2.3 超参数
超参数（Hyper-parameter）: 在开始机器学习过程之前设置值的参数。通常情况下需要对超参数进行优化，选择一组最优超参数，以提高学习的性能和效果。
常见的超参数：学习率（Learning Rate）、梯度下降法迭代的数量（Iterations）、隐藏层数目（Hidden Layers）、隐藏层单元数目、激活函数等
2.4 激活函数
激活函数（Activation Function）：增加神经网络模型的非线性；把当前特征空间通过一定的线性映射转换到另一个空间，让数据能够更好的被分类。
常见的激活函数
| 名称 | 函数 | 导数 |
|---|---|---|
| Logistic函数 | f ( x ) = 1 1 + exp ( − x ) f(x)=\frac1{1+\exp(-x)} f(x)=1+exp(−x)1 | f ′ ( x ) = f ( x ) ( 1 − f ( x ) ) f'(x)=f(x)(1-f(x)) f′(x)=f(x)(1−f(x)) |
| Tanh函数 | f ( x ) = 2 1 + exp ( − 2 x ) − 1 f(x)=\frac2{1+\exp(-2x)}-1 f(x)=1+exp(−2x)2−1 | f ′ ( x ) = 1 − f 2 ( x ) f'(x)=1-f^2(x) f′(x)=1−f2(x) |
| ReLU | f ( x ) = max ( 0 , x ) f(x)=\max(0,x) f(x)=max(0,x) | f ′ ( x ) = I ( x > 0 ) f'(x)=I(x>0) f′(x)=I(x>0) |
| ELU | f ( x ) = max ( 0 , x ) + min ( 0 , α ( exp ( x ) − 1 ) ) f(x)=\max(0,x)+\min(0,\alpha(\exp(x)-1)) f(x)=max(0,x)+min(0,α(exp(x)−1)) | f ′ ( x ) = I ( x > 0 ) + I ( x ≤ 0 ) ⋅ α exp ( x ) f'(x)=I(x>0)+I(x≤0)\cdot\alpha \exp(x) f′(x)=I(x>0)+I(x≤0)⋅αexp(x) |
| SoftPlus函数 | f ( x ) = ln ( 1 + exp ( x ) ) f(x)=\ln(1+\exp(x)) f(x)=ln(1+exp(x)) | f ′ ( x ) = 1 1 + exp ( x ) f'(x)=\frac1{1+\exp(x)} f′(x)=1+exp(x)1 |
2.5 优化方法
2.5.1 基本梯度下降方法
- 随机梯度下降法 (Stochastic Gradient Descent, SGD)：每次迭代（更新参数）只使用单个训练样本。运行速度很快；但易使得训练无法收敛。
- 批量梯度下降法 (Batch Gradient Descent, BGD)：每次迭代更新中使用所有的训练样本。能保证收敛；但当数据量很大时迭代速度很慢。
- 小批量梯度下降法 （Mini-Batch Gradient Descent, MBGD)，折中了 BGD 和 SGD 的方法，每次迭代使用
batch_size（常设为2的n次方）个训练样本进行计算。比 SGD 收敛更稳定，也能避免 BGD 在数据集过大时迭代速度慢的问题，因此最为常用。 - Adagrad：从训练前期至后期自动缩放梯度
- Adadelta：对Adagrad的扩展。
- RMSprop：效果介于Adagrad与Adadelta之间，对于RNN效果很好。
2.5.2 动量梯度下降
动量梯度下降（Momentum）：引入了基于梯度的移动指数加权平均的思想，即当前的参数更新方向不仅与当前的梯度有关，也受历史的加权平均梯度影响。对于梯度指向相同方向的维度，动量会积累并增加，而对于梯度改变方向的维度，动量会减少更新。由此使得收敛速度加快，同时又不至于摆动幅度太大。
2.5.3 Adam优化器
另一种参数自适应学习率的方法，相当于 RMSprop + Momentum，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。
3 卷积神经网络(CNN)
3.1 基本概念与结构
卷积 （Convolution）：计算某种局部的相似性，关键参数有卷积核大小、卷积核数量（决定输出特征图的深度）
池化（Pooling）：将某种最突出的相似性选择出来
卷积神经网络的基本结构
- 输入层
- 卷积层：获得更多图像的抽象特征
- 池化层：减少网络中参数
- 全连接层
- 输出层
3.2 经典卷积网络
LeNet-5、AlexNet、VGGNet、Inception/GoogLeNet、ResNet、DenseNet
小卷积核优势：
- 降低参数个数。
- 提高感受野，捕捉更多的特征信息。
- 增加非线性：小卷积核堆叠使用，可以使模型非线性表达能力更好。
- 更好地处理边缘信息，更好地捕捉图像的细节。
- 更好地处理不变性，使得模型可以更好地适应旋转、平移、缩放等变换。