深度学习——神经网络（neural network）详解（一）. 带手算步骤，步骤清晰0基础可看

深度学习------神经网络（neural network）详解（一）. 带手算步骤，步骤清晰0基础可看

我将以最简单，基础的形式说明神经网络的训练过程。

搭配以下文章进行学习：
深度学习------卷积神经网络（convolutional neural network）CNN详解（一）------概述. 步骤清晰0基础可看

深度学习------卷积神经网络（convolutional neural network）CNN详解（二）------前向传播与反向传播过程（特征提取+预测+反向传播更新参数）. 步骤清晰0基础可看

深度学习------神经网络（neural network）详解（一）. 带手算步骤，步骤清晰0基础可看

深度学习------神经网络（neural network）详解（二）. 带手算步骤，步骤清晰0基础可看

机器学习/深度学习------梯度下降法（Gradient descent）详解. 步骤清晰 0基础可看

一、训练神经网络概述

训练神经网络是利用大量已知数据（训练数据）来调整网络参数（权重和偏置），使网络能够学习输入数据到输出数据的映射关系的过程。

基础的神经网络可以分为，输入层(Input Layer)，隐藏层 (Hidden Layers)，输出层(Output Layer)，如下图所示。

在这之前，我们先来了解几个概念。

1.输入层 (Input Layer): 输入层是神经网络的第一层，负责接收网络的输入数据。每个神经元对应一个输入特征。

2.输出层 (Output Layer): 输出层是神经网络的最后一层，负责产生最终的预测结果。在分类问题中，输出层的神经元数量通常等于类别数。

3.隐藏层 (Hidden Layers): 隐藏层位于输入层和输出层之间，可以有多个。隐藏层的目的是提取输入数据的特征并进行组合，以便于网络学习复杂的模式。

4.神经元 (Neurons): 神经元是网络的基本单元，每个神经元接收来自前一层神经元的输出，对它们进行加权求和，然后可能通过一个激活函数来生成自己的输出。

5.权重 (Weights): 权重是神经元之间连接的强度，它们决定了信号在网络中的传递程度。权重是网络在训练过程中学习得到的参数。

6.偏置 (Biases): 偏置是加在神经元输入上的一个常数项，它为模型提供了平移的自由度，使得模型可以更好地拟合数据。

7.激活函数 (Activation Function): 激活函数是一个数学函数，用于在神经元的输出上引入非线性。这使得神经网络能够学习和模拟复杂的函数映射。常见的激活函数包括Sigmoid、Tanh、ReLU等。

激活函数其实就是把上一层的输出转变到你想要的范围内，是一个映射函数，方便进行下一层的操作。比如归一化就是一个映射操作。

8.损失函数 (Loss Function):损失函数用于衡量模型的预测输出与实际标签之间的差异。它是评估模型性能的指标，常见的损失函数包括均方误差 、交叉熵损失等。

神经网络图示详解

1. 输入层

输入层有两个神经元，分别表示输入特征, x 1 x_{1} x1 ， x 2 x_{2} x2。
x = [ x 1 x 2 ] x = \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} x=[x1x2]

2. 隐藏层

隐藏层有三个神经元，分别表示 h 1 h_{1} h1 ， h 2 h_{2} h2 ， h 3 h_{3} h3 。输入层和隐藏层之间的连接具有权重 w 1 w_{1} w1 到 w 6 w_{6} w6，并且每个隐藏层神经元都有一个偏置 b b b。这就是网络的参数，我们需要更新的就是权重 w w w和偏置 b b b这些网络参数，使这个神经网络能够越来越适应我们的任务，最后能够对新输入做出较为准确的预测判断。

对于隐藏层的每个神经元，计算如下：

• 对于第一个隐藏层神经元 h 1 h_{1} h1：
  h 1 = σ ( w 1 x 1 + b 1 + w 4 x 2 + b 4 ) h_1 = \sigma(w_{1}x_1 + b_1+ w_{4}x_2 + b_4) h1=σ(w1x1+b1+w4x2+b4)

• 对于第二个隐藏层神经元 h 2 h_{2} h2：
  h 2 = σ ( w 2 x 1 + b 2 + w 5 x 2 + b 5 ) h_2 = \sigma(w_{2}x_1 + b_2+ w_{5}x_2 + b_5) h2=σ(w2x1+b2+w5x2+b5)

• 对于第三个隐藏层神经元 h 3 h_{3} h3：
  h 3 = σ ( w 3 x 1 + b 3 + w 6 x 2 + b 6 ) h_3 = \sigma(w_{3}x_1 + b_3+ w_{6}x_2 + b_6) h3=σ(w3x1+b3+w6x2+b6)

  这里， σ \sigma σ表示激活函数，如ReLU或Sigmoid。

3. 输出层

输出层有一个神经元 y ^ \hat{y} y^，表示最终的输出。隐藏层和输出层之间的连接具有权重 w 7 w_{7} w7 到 w 9 w_{9} w9。

输出层神经元的计算

输出神经元 y ^ \hat{y} y^ 的计算如下, σ \sigma σ表示激活函数:
y ^ = σ ( w 7 h 1 + w 8 h 2 + w 9 h 3 ) \hat{y} = \sigma(w_7 h_1 + w_8 h_2 + w_9 h_3) y^=σ(w7h1+w8h2+w9h3)

到此为止，输入 x 1 x_{1} x1 ， x 2 x_{2} x2经过这个神经网络特征呗提取到了，因为我们利用这个神经网络获取到了 x 1 x_{1} x1 ， x 2 x_{2} x2的具体输出。

接下来我们以房价预测为例来说明神经网络参数的更新过程，也就是神经网络的训练过程。

损失函数

L = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 L = \frac{1}{n} \sum_{i=1}^{n}(y_i - \hat{y}_i)^2 L=n1i=1∑n(yi−y^i)2

二、房价预测情景

何为训练神经网络？ 假设我们要预测明年的房价，可以将神经网络视为一个预测函数 f(x)，其中 x 代表影响房价的各种因素：

• 房屋面积（平方米）
• 房屋位置（市中心或郊区）
• 房屋年龄（年）
• 周边设施（学校、医院、交通等）
• 市场趋势和经济指标（GDP增长率、通货膨胀率等）

我们的目标是使用神经网络学习这些因素与房价之间的关系，并预测未来的房价。

三、运算过程概述

1. 数据收集

收集历史房价数据及相关影响因素。

2. 数据预处理

对数据进行归一化处理，使输入特征 x 在相同尺度上，预处理的操作有很多种，在实际模型训练的过程中我们需要用到较为复杂的预处理过程。

3. 构建神经网络

设计一个神经网络结构，例如包含输入层、隐藏层和输出层的简单网络。

4. 初始化参数

随机初始化网络中的权重和偏置。

5. 前向传播

使用训练数据集，计算每个输入 x 通过神经网络的预测输出 ŷ = f(x)。

6. 计算损失

使用均方误差（MSE）作为损失函数，计算预测值与实际房价之间的差异：
L = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 L = \frac{1}{n} \sum_{i=1}^{n}(y_i - \hat{y}_i)^2 L=n1i=1∑n(yi−y^i)2

在这个公式中：

• L L L 表示损失函数的输出，即所有样本损失的均值。
• n n n 是训练集中的样本数量。
• y i y_{i} yi是第 i i i 个样本的实际值。
• y ^ i \hat{y}_{i} y^i 是第 i i i个样本的预测值。

**样本：**样本指的是一组包含房屋特征和对应房价的数据点。每个样本都代表了市场上的一个具体的房产实例，它通常包含多个特征以及该房产的销售价格。即一个样本代表一个数据对，包含实际的输入 x x x和对应的输出 y y y。输出 y y y即为真实值，Ground Truth 。我们的目标是通过调整模型的参数来最小化损失函数 L L L，从而提高预测的准确性。

例如，在房价预测模型中，如果我们使用两个特征：房屋面积 x 1 x_{1} x1和房屋位置 x 2 x_{2} x2，则模型的预测输出可以表示为 y ^ \hat{y} y^，而实际的房价为 y y y。

7. 反向传播

计算损失函数关于每个参数的梯度，使用链式法则反向传播。

(1)链式法则的基本原理：

设有一个由多个函数复合而成的复合函数 ( F = f(g(x)) )，链式法则允许我们通过计算以下形式来求得 ( F ) 的导数：

d F d x = d f d g ⋅ d g d x \frac{dF}{dx} = \frac{df}{dg} \cdot \frac{dg}{dx} dxdF=dgdf⋅dxdg

这里：

• d f d g \frac{df}{dg} dgdf是外函数 f f f对中间变量 g g g 的导数。

• d g d x \frac{dg}{dx} dxdg 是内函数 g g g对原始变量 x x x 的导数。

(2)链式法则在神经网络中的应用：

在神经网络中，前向传播可以看作是多个层级和激活函数的复合。损失函数 L L L 是关于输出 y ^ \hat{y} y^的函数，而输出 y ^ \hat{y} y^本身是关于网络参数（如权重 w w w 和偏置 b b b的复合函数。

反向传播中的链式法则：

• 从输出层开始：计算损失函数 L L L对输出 y ^ \hat{y} y^的梯度，这通常很简单，因为大多数损失函数（如均方误差）对输出的导数有明确的解析解。

• 逐层反向传播：从输出层开始，逆向通过网络的每一层，使用链式法则计算损失函数对每一层参数的梯度。对于每一层：
  ∂ L ∂ a \frac{\partial L}{\partial a} ∂a∂L是当前层的激活函数 a a a的导数（即激活函数的导数）。

• 参数更新：使用计算得到的梯度和选择的优化算法（如梯度下降）更新网络的参数。

具体到这个例子，梯度具体计算过程如下：

L = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 L = \frac{1}{n} \sum_{i=1}^{n}(y_i - \hat{y}i)^2 L=n1∑i=1n(yi−y^i)2
y ^ = σ ( w 7 h 1 + w 8 h 2 + w 9 h 3 ) \hat{y} = \sigma(w_7 h_1 + w_8 h_2 + w_9 h_3) y^=σ(w7h1+w8h2+w9h3)
h 1 = σ ( w 1 x 1 + b 1 + w 4 x 2 + b 4 ) h_1 = \sigma(w{1}x_1 + b_1+ w_{4}x_2 + b_4) h1=σ(w1x1+b1+w4x2+b4)
h 2 = σ ( w 2 x 1 + b 2 + w 5 x 2 + b 5 ) h_2 = \sigma(w_{2}x_1 + b_2+ w_{5}x_2 + b_5) h2=σ(w2x1+b2+w5x2+b5)
h 3 = σ ( w 3 x 1 + b 3 + w 6 x 2 + b 6 ) h_3 = \sigma(w_{3}x_1 + b_3+ w_{6}x_2 + b_6) h3=σ(w3x1+b3+w6x2+b6)

由损失函数求 w w w和 b b b两个参数的梯度的公式如下。当然， w 1 w_{1} w1到 w 9 w_{9} w9对应不同的公式。
d L d w = d L d y ^ ⋅ d y ^ d w + d L d y ^ ⋅ d y ^ d h ⋅ d h d w \frac{dL}{dw} = \frac{dL}{d\hat{y}} \cdot \frac{d\hat{y}}{dw} +\frac{dL}{d\hat{y}} \cdot \frac{d\hat{y}}{dh} \cdot \frac{dh}{dw} dwdL=dy^dL⋅dwdy^+dy^dL⋅dhdy^⋅dwdh

d L d b = d L d y ^ ⋅ d y ^ d w + d L d y ^ ⋅ d y ^ d h ⋅ d h d w \frac{dL}{db} = \frac{dL}{d\hat{y}} \cdot \frac{d\hat{y}}{dw} +\frac{dL}{d\hat{y}} \cdot \frac{d\hat{y}}{dh} \cdot \frac{dh}{dw} dbdL=dy^dL⋅dwdy^+dy^dL⋅dhdy^⋅dwdh

比如对于 w 1 w_{1} w1，其求导公式为：
d L d w 1 = d L d y ^ ⋅ d y ^ d h 1 ⋅ d h 1 d w 1 \frac{dL}{dw_{1}} = \frac{dL}{d\hat{y}} \cdot \frac{d\hat{y}}{dh_{1}} \cdot \frac{dh_{1}}{dw_{1}} dw1dL=dy^dL⋅dh1dy^⋅dw1dh1

8. 参数更新，即更新权重和偏置

（1）梯度下降法

使用梯度下降法 (Gradient descent)更新网络参数：

梯度下降法是一种优化方法，用于最小化一个函数，通常在机器学习和人工智能中用于最小化损失函数，从而找到模型参数的最佳值。具体的思想可以自己去查资料了解，这里只需要知道相关参数是怎么进行更新的就行了。这里的 α \alpha α叫做学习率，控制着梯度下降的大小。

w n e w = α ⋅ ∂ L ∂ w o l d w ^{new}= \alpha \cdot \frac{\partial L}{\partial w^{old}} wnew=α⋅∂wold∂L

让我们来分析一下这个公式，减号代表着在每次迭代中，参数按照损失函数梯度的相反方向更新，因为向梯度的相反方向移动可以减少损失函数的值。

梯度（Gradient）：梯度是一个向量，指向损失函数增长最快的方向。数学上，梯度是损失函数对每个参数偏导数的集合。

损失函数减少：在优化问题中，我们的目标是最小化损失函数。损失函数衡量了模型预测值与实际值之间的差异。

参数更新：在梯度下降法中，我们通过调整模型的参数来减少损失函数的值。

相反方向：梯度指向损失增加的方向，因此，为了减少损失，我们需要向梯度的相反方向更新参数。

举个例子，如果损失函数是一个山谷地形，那么梯度就是指向山谷坡度最陡峭的方向。梯度下降法就像是沿着最陡的下坡路往下走，直到找到山谷的最低点，这个最低点就是损失函数的最小值。

9. 迭代优化

重复步骤5到8，直到满足停止条件。

在梯度下降法中，停止条件用于确定何时停止迭代过程。以下是一些常用的停止条件：

最大迭代次数：设置一个最大迭代次数，例如1000次迭代。这是一个简单的停止条件，可以防止无限循环。

损失函数的阈值：如果损失函数的值低于某个预设的阈值（例如0.001），则认为模型已经足够好，可以停止迭代。

10. 模型评估

使用验证集或测试集评估模型的预测性能。

有多种评估方式来对机器学习/深度学习模型进行评估，在这个房价预测的背景下，我们可以采取如下指标：

均方误差和均方根误差

准确性是衡量模型预测结果与实际值接近程度的指标。在房价预测中，通常使用均方误差（Mean Squared Error, MSE）或者均方根误差（Root Mean Squared Error, RMSE）来衡量误差的大小。MSE和RMSE越小，表示模型的预测结果与实际值越接近。

• 均方误差 (MSE) :
  M S E = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 {MSE} = \frac{1}{n} \sum_{i=1}^{n}(y_i - \hat{y}_i)^2 MSE=n1i=1∑n(yi−y^i)2

• 均方根误差 (RMSE) :
  R M S E = M S E {RMSE} = \sqrt{MSE} RMSE=MSE