机器学习中说的正向传递和反向传递是什么意思

在机器学习，尤其是深度学习领域，​正向传递（Forward Pass）​ 和反向传递（Backward Pass）​ 是神经网络训练过程中的两个核心步骤。它们共同构成了训练神经网络的基础框架，通常与梯度下降算法结合使用。

1. ​正向传递（Forward Pass）​

正向传递是指输入数据通过神经网络的前向传播过程，从输入层经过隐藏层最终到达输出层，计算网络的预测结果。具体步骤如下：

• 输入数据：将训练数据（例如图像、文本等）输入到神经网络的第一层（输入层）。
• 逐层计算：数据通过每一层的神经元，经过加权求和和激活函数的处理，逐层传递。
• 输出结果：最终在输出层得到网络的预测值（例如分类标签、回归值等）。
• 计算损失：将网络的预测值与真实标签进行比较，使用损失函数（如均方误差、交叉熵等）计算误差。

正向传递的目的是计算网络的输出和损失，这是后续反向传递的基础。

2. ​反向传递（Backward Pass / Backpropagation）​

反向传递是指通过反向传播算法计算损失函数对网络参数的梯度，以便更新网络参数。具体步骤如下：

• 计算梯度：从输出层开始，逐层计算损失函数对每一层参数的偏导数（梯度）。这涉及到链式法则的应用。
• 反向传播梯度：将梯度从输出层传递回输入层，计算每一层的权重和偏置的梯度。
• 更新参数：使用梯度下降（或其变体，如Adam、RMSProp等）根据计算出的梯度更新网络的参数（权重和偏置）。

反向传递的目的是优化网络参数，使得损失函数最小化，从而提高网络的预测性能。

3. ​正向传递和反向传递的关系

• 正向传递是计算网络的输出和损失，为反向传递提供基础。
• 反向传递是计算梯度并更新参数，以优化网络性能。
• 两者交替进行：在训练过程中，每一轮迭代（epoch）通常包括一次正向传递和一次反向传递。

4. ​简单示例

假设有一个简单的神经网络，输入为 x，输出为 y，损失函数为 L。

• ​正向传递：

  1. 计算网络输出：y=f(x;θ)，其中 θ 是网络参数。
  2. 计算损失：L=loss(y,ytrue)。

• ​反向传递：

  1. 计算损失对参数的梯度：∂θ∂L。
  2. 更新参数：θ=θ−η⋅∂θ∂L，其中 η 是学习率。

总结

• 正向传递：数据从输入到输出，计算预测值和损失。
• 反向传递 ：从损失反向传播梯度，更新网络参数。
  两者共同构成了神经网络训练的核心过程。