在机器学习，尤其是深度学习领域，正向传递（Forward Pass） 和反向传递（Backward Pass） 是神经网络训练过程中的两个核心步骤。它们共同构成了训练神经网络的基础框架，通常与梯度下降算法结合使用。
1. 正向传递（Forward Pass）
正向传递是指输入数据通过神经网络的前向传播过程，从输入层经过隐藏层最终到达输出层，计算网络的预测结果。具体步骤如下：
- 输入数据：将训练数据（例如图像、文本等）输入到神经网络的第一层（输入层）。
- 逐层计算：数据通过每一层的神经元，经过加权求和和激活函数的处理，逐层传递。
- 输出结果：最终在输出层得到网络的预测值（例如分类标签、回归值等）。
- 计算损失：将网络的预测值与真实标签进行比较，使用损失函数（如均方误差、交叉熵等）计算误差。
正向传递的目的是计算网络的输出和损失，这是后续反向传递的基础。
2. 反向传递（Backward Pass / Backpropagation）
反向传递是指通过反向传播算法计算损失函数对网络参数的梯度，以便更新网络参数。具体步骤如下：
- 计算梯度：从输出层开始，逐层计算损失函数对每一层参数的偏导数（梯度）。这涉及到链式法则的应用。
- 反向传播梯度：将梯度从输出层传递回输入层，计算每一层的权重和偏置的梯度。
- 更新参数：使用梯度下降（或其变体，如Adam、RMSProp等）根据计算出的梯度更新网络的参数（权重和偏置）。
反向传递的目的是优化网络参数，使得损失函数最小化，从而提高网络的预测性能。
3. 正向传递和反向传递的关系
- 正向传递是计算网络的输出和损失，为反向传递提供基础。
- 反向传递是计算梯度并更新参数，以优化网络性能。
- 两者交替进行：在训练过程中，每一轮迭代（epoch）通常包括一次正向传递和一次反向传递。
4. 简单示例
假设有一个简单的神经网络，输入为 x，输出为 y，损失函数为 L。
-
正向传递：
- 计算网络输出：y=f(x;θ)，其中 θ 是网络参数。
- 计算损失：L=loss(y,ytrue)。
-
反向传递：
- 计算损失对参数的梯度：∂θ∂L。
- 更新参数：θ=θ−η⋅∂θ∂L，其中 η 是学习率。
总结
- 正向传递：数据从输入到输出，计算预测值和损失。
- 反向传递 ：从损失反向传播梯度，更新网络参数。
两者共同构成了神经网络训练的核心过程。