反向传播算法——矩阵形式递推公式——ReLU传递函数

总结反向传播算法。

来源于https://udlbook.github.io/udlbook/,我不明白初始不从 x 0 \boldsymbol{x}_0 x0开始,而是从 z 0 \boldsymbol{z}_0 z0开始,不知道怎么想的。


考虑一个深度神经网络 g [ x i , ϕ ] g[\boldsymbol{x}i, \boldsymbol{\phi}] g[xi,ϕ],它接受输入 x i \boldsymbol{x}i xi,具有 N N N个隐藏层和 ReLU 激活函数,并且有单独的损失项 L i = l o s s [ g [ x i , ϕ ] , y i ] L_i = {\rm loss}[g[\boldsymbol{x}i, \boldsymbol{\phi}], \boldsymbol{y}i] Li=loss[g[xi,ϕ],yi]。反向传播的目标是计算关于偏差 b ι \boldsymbol{b}\iota bι和权重 W ι \boldsymbol{W}\iota Wι的导数 ∂ L i ∂ b ι \frac{\partial L_i}{\partial \boldsymbol{b}\iota} ∂bι∂Li和 ∂ L i ∂ W ι \frac{\partial L_i}{\partial \boldsymbol{W}\iota} ∂Wι∂Li。

前向传递: 计算并存储以下量:

z 0 = b 0 + W 0 x i x ι = f [ z ι − 1 ] ι ∈ { 1 , 2 , ... , M } z ι = b ι + W ι x ι . ι ∈ { 1 , 2 , ... , M } \begin{aligned} \boldsymbol{z}0 &= \boldsymbol{b}0 + \boldsymbol{W}0 \boldsymbol{x}i \\ \boldsymbol{x}\iota &=f[\boldsymbol{z}{\iota-1}] & \iota \in \{1, 2, \ldots, M\} \\ \boldsymbol{z}\iota &= \boldsymbol{b}\iota + \boldsymbol{W}\iota \boldsymbol{x}\iota. & \iota \in \{1, 2, \ldots, M\} \end{aligned} z0xιzι=b0+W0xi=f[zι−1]=bι+Wιxι.ι∈{1,2,...,M}ι∈{1,2,...,M}

反向传递: 从损失函数 L i L_i Li关于网络输出 z M \boldsymbol{z}_M zM的导数 ∂ L i ∂ z M \frac{\partial L_i}{\partial \boldsymbol{z}_M} ∂zM∂Li开始,并在网络中反向工作:

∂ L i ∂ b ι = ∂ L i ∂ z ι ι ∈ { M , M − 1 , ... , 1 } ∂ L i ∂ W ι = ∂ L i ∂ z ι x ι T ι ∈ { M , M − 1 , ... , 1 } ∂ L i ∂ z ι − 1 = I [ z ι − 1 > 0 ] ⊙ ( W ι T ∂ L i ∂ z ι ) , ι ∈ { M , M − 1 , ... , 1 } \begin{aligned} \frac{\partial L_i}{\partial \boldsymbol{b}\iota} &= \frac{\partial L_i}{\partial \boldsymbol{z}\iota} & \iota \in \{M, M-1, \ldots, 1\} \\ \frac{\partial L_i}{\partial \boldsymbol{W}\iota} &= \frac{\partial L_i}{\partial \boldsymbol{z}\iota} \boldsymbol{x}\iota^{\mathsf T} & \iota \in \{M, M-1, \ldots, 1\} \\ \frac{\partial L_i}{\partial \boldsymbol{z}{\iota-1}} &= \mathbb{I}[\boldsymbol{z}{\iota-1} > 0] \odot \left( \boldsymbol{W}\iota^{\mathsf T} \frac{\partial L_i}{\partial \boldsymbol{z}_\iota} \right), & \iota \in \{M, M-1, \ldots, 1\} \end{aligned} ∂bι∂Li∂Wι∂Li∂zι−1∂Li=∂zι∂Li=∂zι∂LixιT=I[zι−1>0]⊙(WιT∂zι∂Li),ι∈{M,M−1,...,1}ι∈{M,M−1,...,1}ι∈{M,M−1,...,1}

其中 ⊙ \odot ⊙表示逐点乘法,而 I [ z ι − 1 > 0 ] \mathbb{I}[\boldsymbol{z}{\iota-1} > 0] I[zι−1>0]是一个向量,其中在 z ι − 1 \boldsymbol{z}{\iota-1} zι−1大于零的位置包含一,在其他位置包含零。

最后,计算关于第一组偏差和权重的导数:

∂ L i ∂ b 0 = ∂ L i ∂ z 0 ∂ L i ∂ W 0 = ∂ L i ∂ z 0 x i T . \begin{aligned} \frac{\partial L_i}{\partial \boldsymbol{b}_0} &= \frac{\partial L_i}{\partial \boldsymbol{z}_0} \\ \frac{\partial L_i}{\partial \boldsymbol{W}_0} &= \frac{\partial L_i}{\partial \boldsymbol{z}_0} \boldsymbol{x}_i^{\mathsf T}. \end{aligned} ∂b0∂Li∂W0∂Li=∂z0∂Li=∂z0∂LixiT.

为批次中的每个训练样本计算这些导数,并将它们相加以获取用于 SGD 更新的梯度。

请注意,反向传播算法非常高效;前向和反向传递中最耗计算的步骤是矩阵乘法(分别由 W \boldsymbol{W} W和 W T \boldsymbol{W}^{\mathsf T} WT进行),这只需要加法和乘法。然而,它不是内存高效的;前向传递中的中间值必须全部存储,这可能会限制可以训练的模型的大小。

相关推荐
lifallen2 小时前
Paimon LSM Tree Compaction 策略
java·大数据·数据结构·数据库·算法·lsm-tree
kngines4 小时前
【力扣(LeetCode)】数据挖掘面试题0002:当面对实时数据流时您如何设计和实现机器学习模型?
机器学习·数据挖掘·面试题·实时数据
web_Hsir4 小时前
vue3.2 前端动态分页算法
前端·算法
网安INF5 小时前
深度学习中批标准化与神经网络调优
人工智能·深度学习·神经网络·机器学习
】余185381628006 小时前
矩阵系统源码搭建与定制化开发,支持OEM
线性代数·矩阵
地平线开发者6 小时前
征程 6M 部署 Omnidet 感知模型
算法·自动驾驶
爱思德学术7 小时前
中国计算机学会(CCF)推荐学术会议-B(计算机体系结构/并行与分布计算/存储系统):SOCC 2025
网络协议·机器学习·云计算·边缘计算
秋说7 小时前
【PTA数据结构 | C语言版】线性表循环右移
c语言·数据结构·算法
巴伦是只猫7 小时前
【机器学习笔记 Ⅲ】1 无监督学习
笔记·学习·机器学习
浩瀚星辰20247 小时前
图论基础算法:DFS、BFS、并查集与拓扑排序的Java实现
java·算法·深度优先·图论