【DL】链式法则|反向传播|神经网络梯度

q:为什么需要反向传播?

【DL】神经网络学习机制,prediction,loss,gradient

模型可以知道Loss是多少,都是它不知道w应该增加还是减少,增加多少或者减少多少,所以需要:

复制代码
Loss
 ↓
找到每个参数影响多少
 ↓
调整参数

这个过程叫做反向传播Backpropagation。

复制代码
         Forward

x

↓

w1

↓

h

↓

w2

↓

ŷ

↓

Loss

复制代码
         Backward

Loss

↓

∂L/∂ŷ

↓

∂L/∂h

↓

∂L/∂w1

p:核心思想,链式法则

链式法则如果你学习过导数,你应该听说过,我们想知道w2对 Loss 影响多少?,也就是∂L/∂w。

w1呢?

eg:

复制代码
体重
 ↓
BMI
 ↓
健康评分

如果想要知道体重变化对健康评分的变化,我们通过BMI进行查看,体重 → BMI → 健康评分。

链式法则:最终影响=中间影响 × 前面影响

数学:

复制代码
∂L/∂w2

=

∂L/∂ŷ

×

∂ŷ/∂w2

o.神经网络训练流程

复制代码
Forward  神经网络前向传播只是计算当前参数下的预测值。

输入
 ↓
参数
 ↓
预测
 ↓
Loss

        Backward

Loss
 ↓
梯度
 ↓
更新参数

重复很多次

do.使用python模拟反向传播

python 复制代码
#reality  
x = 2  
y = 20  
  
#参数  
w1 = 5  
w2 = 3  
  
  
# forwardh = w1 * x  
  
y_hat = w2 * h  
  
  
loss = (y_hat - y) ** 2  
  
  
# backward  
dL_dyhat = 2 * (y_hat - y)  
  
dYhat_dw2 = h  
  
dYhat_dh = w2  
  
dh_dw1 = x  
  
  
dL_dw2 = dL_dyhat * dYhat_dw2  
  
dL_dw1 = dL_dyhat * dYhat_dh * dh_dw1  
  
  
print(dL_dw1)  
print(dL_dw2)

这种简单的你可以手写,但是情况一旦复杂,不可能人工计算,所以我们以后使用pytorch

use:PyTorch 的解决方案

建立计算图(Computational Graph)

python 复制代码
y = w*x
复制代码
pytorch内部记录
        *
       / \
      w   x
w参与了乘法
x参与了乘法
python 复制代码
#计算loss
loss.backward()

'''

PyTorch 自动沿着图反向计算:
Loss

↓

乘法节点

↓

w梯度
'''

PyTorch 自动求梯度

python 复制代码
import torch


x = torch.tensor(2.0)

w = torch.tensor(3.0, requires_grad=True)


y = w*x


loss = y**2


loss.backward()


print(w.grad)

神经网络训练真实流程(神经网络训练循环)

复制代码
        数据

         |

         v

     Forward

         |

         v

      Prediction

         |

         v

        Loss

         |

         v

    backward()

         |

         v

       Gradient

         |

         v

    Update 参数

         |

         v

       新模型

实现一个小神经网络

复制代码
import torch  
  
#x → w1 → h → w2 → y  
x = torch.tensor(2.0)  
  
y = torch.tensor(20.0)  
  
  
w1 = torch.tensor(  
    5.0,  
    requires_grad=True  
)  
  
w2 = torch.tensor(  
    3.0,  
    requires_grad=True  
)  
  
  
# forward  
h = w1*x  
  
y_hat = w2*h  
  
  
loss = (y_hat-y)**2  
  
  
print(loss)  
  
  
# backward  
loss.backward()  
  
  
print(w1.grad)  
  
print(w2.grad)

讲到这里你应该有一个新的认知

复制代码
神经网络

=

大量简单计算节点组成的计算图

+

自动链式求导

+

参数更新
相关推荐
数字融合22 分钟前
透明化视频驱动化工生产动态三维重建管控技术
大数据·人工智能·python
知行产研1 小时前
会感知、能协同,金科【钻孔】智能化路线 | bauma CHINA 2026
大数据·人工智能
谙弆悕博士1 小时前
从“预测下一个词”到“预测世界下一状态”:世界模型是不是下一个AGI叙事?
人工智能·gpt·深度学习·神经网络·agi·jepa·genie 4
敖老师1 小时前
企业知识库 × 飞书机器人 —— 从 0 到 1 接入
人工智能
AI前端工程狮2 小时前
我给 MCP 长任务做了持久化,结果造出一堆僵尸
人工智能·程序员
黑科技iOS上架2 小时前
iOS游戏换皮上架困境:4.3同质化拒审
人工智能·ios·审核
咕泡科技2 小时前
关于机器学习,如何通俗理解全连接层(fully connected layer)?
人工智能·深度学习·机器学习
Java后端的Ai之路2 小时前
Java并发编程22-Lock接口
java·人工智能·prompt·lock
oil欧哟2 小时前
AI 编程与写作高效工作流:语音输入、反问采访与多话题并行
人工智能
翰墨之道2 小时前
黄仁勋回归传闻升温:英伟达领导层风波牵动AI产业
人工智能·数据挖掘·回归