“神经网络的参数为什么不能全为0“的简单理解

考虑一个最简单的多层全连接网络,每一层的输出和输入之间的关系为:

复制代码
Z = AW + b

如果W和b均为0,那么整个网络除了第一层的输入不为0外,其他所有层的输入都为0,也就是说对于除了 input layer 之外的任意层,A 均为0。

而如果考虑每一层单独的导数,就会有 Z'(b) = 1Z'(A) = W, Z'(W) = A ,那么如果W都为0,则意味着对A的导数为0,而我们知道对每一层的导数都是由其上一层的导数经过链式法则得来的,而现在最上面的output layer 对A的导数全为0,那么由上往下走,每一层的梯度都需要乘以上一层的梯度,也就是0,导致整个网络的梯度全为0。

最终的结果是,除了最后一层的b,(导数为1,可以更新),所有其他的参数均不会得到更新。

相关推荐
鸿蒙布道师21 小时前
AI硬件遭遇“关税风暴“:中国科技企业如何破局?
人工智能·科技·嵌入式硬件·深度学习·神经网络·opencv·机器人
蹦蹦跳跳真可爱5891 天前
Python----深度学习(基于深度学习Pytroch线性回归和曲线回归)
pytorch·python·深度学习·神经网络·回归·线性回归
loriby1 天前
卷积神经网络:视觉炼金术士的数学魔法
人工智能·神经网络·cnn
COOCC11 天前
PyTorch 实战:Transformer 模型搭建全解析
人工智能·pytorch·python·深度学习·神经网络·目标检测·transformer
小李子-_-2 天前
生成对抗网络(Generative adversarial network——GAN)
人工智能·神经网络·生成对抗网络
埃菲尔铁塔_CV算法2 天前
YOLO 模型的深度剖析及其在生物医药领域的创新应用
深度学习·神经网络·yolo·目标检测·计算机视觉
程序员非鱼2 天前
(2025最新版)CUDA安装及环境配置
人工智能·深度学习·神经网络·cuda
COOCC12 天前
推荐系统排序阶段核心要点:多目标排序模型详解
神经网络·算法·机器学习·计算机视觉·自然语言处理
蹦蹦跳跳真可爱5892 天前
Python----深度学习(神经网络的过拟合解决方案)
pytorch·python·深度学习·神经网络