“神经网络的参数为什么不能全为0“的简单理解

考虑一个最简单的多层全连接网络,每一层的输出和输入之间的关系为:

复制代码
Z = AW + b

如果W和b均为0,那么整个网络除了第一层的输入不为0外,其他所有层的输入都为0,也就是说对于除了 input layer 之外的任意层,A 均为0。

而如果考虑每一层单独的导数,就会有 Z'(b) = 1Z'(A) = W, Z'(W) = A ,那么如果W都为0,则意味着对A的导数为0,而我们知道对每一层的导数都是由其上一层的导数经过链式法则得来的,而现在最上面的output layer 对A的导数全为0,那么由上往下走,每一层的梯度都需要乘以上一层的梯度,也就是0,导致整个网络的梯度全为0。

最终的结果是,除了最后一层的b,(导数为1,可以更新),所有其他的参数均不会得到更新。

相关推荐
西猫雷婶13 小时前
CNN卷积计算
人工智能·神经网络·cnn
lyx331369675914 小时前
#深度学习基础:神经网络基础与PyTorch
pytorch·深度学习·神经网络·参数初始化
无风听海19 小时前
神经网络之交叉熵与 Softmax 的梯度计算
人工智能·深度学习·神经网络
JJJJ_iii19 小时前
【深度学习03】神经网络基本骨架、卷积、池化、非线性激活、线性层、搭建网络
网络·人工智能·pytorch·笔记·python·深度学习·神经网络
sensen_kiss20 小时前
INT301 Bio-computation 生物计算(神经网络)Pt.1 导论与Hebb学习规则
人工智能·神经网络·学习
AI新兵1 天前
深度学习基础:从原理到实践——第二章神经网络(上)
人工智能·深度学习·神经网络
PKNLP2 天前
深度学习之神经网络1(Neural Network)
人工智能·深度学习·神经网络
CH3_CH2_CHO2 天前
DAY03:【DL 第一弹】神经网络
人工智能·pytorch·深度学习·神经网络
xiaohanbao092 天前
Transformer架构与NLP词表示演进
python·深度学习·神经网络
fyakm2 天前
GAN入门:生成器与判别器原理(附Python代码)
rnn·深度学习·神经网络