1 前言
假设我们有这样的两个模型：
- 第一个是逻辑回归
- 第二个是神经网络
他们的损失函数都是交叉熵
sigmoid函数的导数：
他们能不能用0初始化呢？
2 逻辑回归
2.1 求偏导
2.1.1 结论
2.1.2 L对a的偏导
2.1.3 对w1，w2求偏导
w2同理
2.1.4 对b偏导
2.2 参数更新与分析
w1,w2,b的梯度和w1,w2,b无关，所以初始化成0之后没有影响
3 神经网络
3.1 偏导
a3的部分和前面逻辑回归是一样的
3.1.1 a1部分推导
3.1.1.1 对a1的偏导
3.1.1.2 对w11,w21,b1的推导
3.2 初始化为0
3.2.1 w初始化为0，b初始化为0
3.2.2w初始化为0，b随机初始化
3.3 w随机初始化，b初始化为0
前向传播过程中，a1,a2均不为0，反向传播的过程中各参数均可以更新
更新幅度也不一样