目录
- [1. 主要的法则](#1. 主要的法则)
- [2. 基本的法则](#2. 基本的法则)
- [3. 链式法则](#3. 链式法则)
- [4. pytorch验证链式法则](#4. pytorch验证链式法则)
1. 主要的法则
如下图：
链式法则的就是一级一级的求导，比如：y对x求导，首先计算y对中间变量u的导数，然后再乘以u对x的导数
2. 基本的法则
- f + g
y = x 2 x^2 x2 + x = 2x +1 - f - g
y = x 3 x^3 x3 - 3x = 3x - 3 - 𝑓𝑔 ′ = 𝑓′𝑔 + 𝑓𝑔′
x 4 1 x^{4^1} x41 = x 2 1 x^{2^1} x21x 2 x^2 x2 + x 2 x^2 x2 x 2 1 x^{2^1} x21 = 2x * x 2 x^2 x2 + x 2 x^2 x2 * 2x = 2 x 3 x^3 x3 + 2 x 3 x^3 x3 = 4 x 3 x^3 x3 - softmax求导
之前推导过，这里就不详述了。
3. 链式法则
如下图：
y对x求导，先计算y对中间变量u的导数，再乘以u对x的导数
u是中间层又叫隐藏层
由于 y 2 y_2 y2 = (x w 1 w_1 w1 + b 1 b_1 b1) * w 2 w_2 w2 + b 1 b_1 b1比较简单也可直接展开，但是对于有激活函数的式子直接展开就比较复杂了，因此还是要使用链式法则比较好。
e对w求导，经过了两级，一级一级求导即可。
4. pytorch验证链式法则
如下图：
从图中可以看出链式法则结果与pytorch自动求导结果一致，证明链式法则有效。