技术栈
kaiming
flying_1314
5 天前
神经网络
·
算法
·
激活函数
·
正态分布
·
参数初始化
·
xavier
·
kaiming
面试常问系列(一)-神经网络参数初始化
说到参数初始化，先提一下大家常见的两个概念梯度消失和梯度爆炸。在反向传播过程中，梯度值随着网络层数增加呈指数级衰减，最终趋近于零，导致浅层权重几乎不更新。