深层神经网络
符号规定
- L L L ：表示神经网络的层数；
- l l l ：表示第几层；
- n [ l ] n^{[~l~]} n[ l ] ：表示第 l l l 层的节点数；
- a [ l ] a^{[~l~]} a[ l ] ：表示第 l l l 层中的激活函数（泛指）；
- a [ l ] = g [ l ] ( z [ l ] ) a^{[~l~]}=g^{[~l~]}(z^{[~l~]}) a[ l ]=g[ l ](z[ l ]) ：表示第 l l l 层中的激活函数（泛指）；
- W [ l ] W^{[~l~]} W[ l ] ：表示第 l l l 层的参数 w w w 的集合；
- b [ l ] b^{[~l~]} b[ l ] ：表示第 l l l 层的参数 b b b 的集合。
前向传播和反向传播都类似之前的笔记。
流程图
前向传播有输入数据 x x x ，反向传播的输入数据是 d a [ L ] da^{[~L~]} da[ L ] ，即输出层（第 L L L 层）的输出，在向量化代码中，直接展示出来的结果是损失函数 L ( y ^ , y ) L(\widehat{y},y) L(y ,y) ，
因为 d a [ L ] = − y a + 1 − y 1 − a da^{[~L~]}=-\frac{y}{a}+\frac{1-y}{1-a} da[ L ]=−ay+1−a1−y ，而 L ( y ^ , y ) L(\widehat{y},y) L(y ,y) 对 y ^ \widehat{y} y （ a a a）的导数，正好等于这个结果。因此将损失函数对 y ^ \widehat{y} y （ a a a）求导，可得出 d a [ L ] da^{[~L~]} da[ L ] ，然后代入反向传播链的输入，开始迭代，如上图所示。
向量化时 d a [ L ] da^{[~L~]} da[ L ] 需改为 d A [ L ] dA^{[~L~]} dA[ L ] ， d A [ L ] = ( d a [ 1 ] , d a [ 2 ] , . . . , d a [ m ] ) dA^{[~L~]}=(da^{[~1~]},da^{[~2~]},...,da^{[~m~]}) dA[ L ]=(da[ 1 ],da[ 2 ],...,da[ m ]) 。
为何 z [ l ] z^{[~l~]} z[ l ]是反向传播的一个输入参数
∵ a [ l ] = σ ( z [ l ] ) = σ ( W [ l ] a [ l − 1 ] + b [ l ] ) ∵ d L d a [ l − 1 ] = d L d a [ l ] ⋅ d a [ l ] d a [ l − 1 ] = d a [ l ] ⋅ σ ′ ( W [ l ] a [ l − 1 ] + b [ l ] ) W [ l ] ⋅ d a [ l − 1 ] ∴ d a [ l − 1 ] = d a [ l ] ⋅ σ ′ ( z [ l ] ) W [ l ] ⋅ d a [ l − 1 ] \begin{align*} ∵a^{[~l~]}=\sigma&(z^{[~l~]})=\sigma(W^{[~l~]}a^{[~l-1~]}+b^{[~l~]})\\ ∵\frac{dL}{da^{[~l-1~]}}&=\frac{dL}{da^{[~l~]}}·\frac{da^{[~l~]}}{da^{[~l-1~]}}\\ &=da^{[~l~]}·\sigma^{'}(W^{[~l~]}a^{[~l-1~]}+b^{[~l~]})W^{[~l~]}·da^{[~l-1~]}\\ ∴da^{[~l-1~]}&=da^{[~l~]}·\sigma^{'}(z^{[~l~]})W^{[~l~]}·da^{[~l-1~]} \end{align*} ∵a[ l ]=σ∵da[ l−1 ]dL∴da[ l−1 ](z[ l ])=σ(W[ l ]a[ l−1 ]+b[ l ])=da[ l ]dL⋅da[ l−1 ]da[ l ]=da[ l ]⋅σ′(W[ l ]a[ l−1 ]+b[ l ])W[ l ]⋅da[ l−1 ]=da[ l ]⋅σ′(z[ l ])W[ l ]⋅da[ l−1 ]
核对矩阵的维度
向量化前的单个样本
-
前向传播：
W [ l ] W^{[~l~]} W[ l ] ：维度为 ( n [ l ] , n [ l − 1 ] ) (n^{[~l~]},n^{[~l-1~]}) (n[ l ],n[ l−1 ]) ；
z [ l ] z^{[~l~]} z[ l ] ：维度为 ( n [ l ] , 1 ) (n^{[~l~]},1) (n[ l ],1) ；
a [ l ] a^{[~l~]} a[ l ] ：维度为 ( n [ l ] , 1 ) (n^{[~l~]},1) (n[ l ],1) ；
b [ l ] b^{[~l~]} b[ l ] ：维度为 ( n [ l ] , 1 ) (n^{[~l~]},1) (n[ l ],1) 。
-
反向传播：
d W [ l ] dW^{[~l~]} dW[ l ] 和 W [ l ] W^{[~l~]} W[ l ] 同维度；
d b [ l ] db^{[~l~]} db[ l ] 和 b [ l ] b^{[~l~]} b[ l ] 同维度。
向量化后的整个训练集
-
前向传播：
X ( A [ 0 ] ) X(A^{[~0~]}) X(A[ 0 ]) ：维度为 ( n [ 0 ] , m ) (n^{[~0~]},m) (n[ 0 ],m) ；
W [ l ] W^{[~l~]} W[ l ] ：维度为 ( n [ l ] , n [ l − 1 ] ) (n^{[~l~]},n^{[~l-1~]}) (n[ l ],n[ l−1 ]) ；
b [ l ] b^{[~l~]} b[ l ] ：维度为 ( n [ l ] , 1 ) (n^{[~l~]},1) (n[ l ],1) ；# 要广播
Z [ l ] Z^{[~l~]} Z[ l ] ：维度为 ( n [ l ] , m ) (n^{[~l~]},m) (n[ l ],m) ；
A [ l ] A^{[~l~]} A[ l ] ：维度为 ( n [ l ] , m ) (n^{[~l~]},m) (n[ l ],m) 。
-
反向传播：
d W [ l ] dW^{[~l~]} dW[ l ] 和 W [ l ] W^{[~l~]} W[ l ] 同维度；
d b [ l ] db^{[~l~]} db[ l ] 和 b [ l ] b^{[~l~]} b[ l ] 同维度；
d Z [ l ] dZ^{[~l~]} dZ[ l ] 和 Z [ l ] Z^{[~l~]} Z[ l ] 同维度；
d A [ l ] dA^{[~l~]} dA[ l ] 和 A [ l ] A^{[~l~]} A[ l ] 同维度。
超参数：
能控制参数 w w w 和 b b b 的参数，需人为设置。
- 学习率 α \alpha α ；
- 梯度下降法循环次数；
- 隐层数 L L L ；
- 隐藏层的单元（节点）数；
- 激活函数类型。
这些参数需要不断测试，实时评估损失函数（横坐标越大，纵坐标越小）。