pytorch链式法则

目录

  • [1. 主要的法则](#1. 主要的法则)
  • [2. 基本的法则](#2. 基本的法则)
  • [3. 链式法则](#3. 链式法则)
  • [4. pytorch验证链式法则](#4. pytorch验证链式法则)

1. 主要的法则

如下图:

链式法则的就是一级一级的求导,比如:y对x求导,首先计算y对中间变量u的导数,然后再乘以u对x的导数

2. 基本的法则

  • f + g
    y = x 2 x^2 x2 + x = 2x +1
  • f - g
    y = x 3 x^3 x3 - 3x = 3x - 3
  • 𝑓𝑔 ′ = 𝑓′𝑔 + 𝑓𝑔′
    x 4 1 x^{4^1} x41 = x 2 1 x^{2^1} x21x 2 x^2 x2 + x 2 x^2 x2 x 2 1 x^{2^1} x21 = 2x * x 2 x^2 x2 + x 2 x^2 x2 * 2x = 2 x 3 x^3 x3 + 2 x 3 x^3 x3 = 4 x 3 x^3 x3
  • softmax求导

    之前推导过,这里就不详述了。

3. 链式法则

如下图:

y对x求导,先计算y对中间变量u的导数,再乘以u对x的导数

u是中间层又叫隐藏层

由于 y 2 y_2 y2 = (x w 1 w_1 w1 + b 1 b_1 b1) * w 2 w_2 w2 + b 1 b_1 b1比较简单也可直接展开,但是对于有激活函数的式子直接展开就比较复杂了,因此还是要使用链式法则比较好。

e对w求导,经过了两级,一级一级求导即可。

4. pytorch验证链式法则

如下图:

从图中可以看出链式法则结果与pytorch自动求导结果一致,证明链式法则有效。

相关推荐
AI算力5 小时前
让安全驾驶有“AI”相伴|腾视科技DMS视频监控一体机,守护每一次出行
人工智能·科技·ai·车载终端·ai算力·车载智能终端·车载dvr
泯泷6 小时前
超越基准:Claude Opus 4.5 的 4 个惊人洞察
人工智能
果果软件6 小时前
2026 后台管理系统选型:若依、JeecgBoot、芋道、NocoBase 和 GewuMind Boot 怎么选?
java·人工智能·后端·ai·开源
Csvn6 小时前
刚开始用 WorkBuddy,第一步该做什么?
人工智能
一水鉴天6 小时前
同一与唯一:AppBus 外壳与 DevOps 内核 之1 20261121(元宝)
人工智能·机器学习
Wellijohn6 小时前
一个 Android 老兵的十年开源路:从 167 star 的滑动控件,到本地优先的 AI Agent
android·人工智能·开源
ZONGYUAN-ROOT6 小时前
【API配额】API 配额监控告警不生效?用 Python 监控读数变化量,抓住静态阈值漏掉的「假重置」
人工智能
Wellijohn7 小时前
我把公司内部的 12 个 CRUD 接口交给了 AI Agent,然后省出了两周
人工智能·python·mcp
2601_967980118 小时前
python pytest怎样测试代码
python·pytest·测试·文档·断言