1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导
(1)加法门单元:均等分配
z=x+y
z对x求偏导:得到1
z对y求偏导:得到1
也就是均等分配
(2)MAX门单元:给最大的
(3)乘法门单元:互换
z=xy
z对x求偏导:得到y
z对y求偏导:得到x
绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x y=-12。
输入x=2 , y=0 ,通过max门单元,得到结果2。
-12+2=-10 ,-10*2=-20.
红色是反向传播:
输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2 3=6 ,乘法门单元进行互换。
然后2*(-4)=-8门单元。
2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.
2.