pytorch链式法则

目录

  • [1. 主要的法则](#1. 主要的法则)
  • [2. 基本的法则](#2. 基本的法则)
  • [3. 链式法则](#3. 链式法则)
  • [4. pytorch验证链式法则](#4. pytorch验证链式法则)

1. 主要的法则

如下图:

链式法则的就是一级一级的求导,比如:y对x求导,首先计算y对中间变量u的导数,然后再乘以u对x的导数

2. 基本的法则

  • f + g
    y = x 2 x^2 x2 + x = 2x +1
  • f - g
    y = x 3 x^3 x3 - 3x = 3x - 3
  • 𝑓𝑔 ′ = 𝑓′𝑔 + 𝑓𝑔′
    x 4 1 x^{4^1} x41 = x 2 1 x^{2^1} x21x 2 x^2 x2 + x 2 x^2 x2 x 2 1 x^{2^1} x21 = 2x * x 2 x^2 x2 + x 2 x^2 x2 * 2x = 2 x 3 x^3 x3 + 2 x 3 x^3 x3 = 4 x 3 x^3 x3
  • softmax求导

    之前推导过,这里就不详述了。

3. 链式法则

如下图:

y对x求导,先计算y对中间变量u的导数,再乘以u对x的导数

u是中间层又叫隐藏层

由于 y 2 y_2 y2 = (x w 1 w_1 w1 + b 1 b_1 b1) * w 2 w_2 w2 + b 1 b_1 b1比较简单也可直接展开,但是对于有激活函数的式子直接展开就比较复杂了,因此还是要使用链式法则比较好。

e对w求导,经过了两级,一级一级求导即可。

4. pytorch验证链式法则

如下图:

从图中可以看出链式法则结果与pytorch自动求导结果一致,证明链式法则有效。

相关推荐
黑客笔记8 小时前
python小工具win7翻车事故现场
python
Csvn9 小时前
同一个问题问 100 遍,钱就扣 100 次?精确缓存让它只扣一次(C02)
人工智能·aigc·agent
罗西的思考10 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考10 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习
汤姆宝库11 小时前
BPE分词器的完整实现:字节对合并与词表构建
开发语言·人工智能·c#
岁月宁静11 小时前
从零拆解 AI 语音模拟面试系统
人工智能·python·agent
benchmark_cc11 小时前
个人开发者接入五档盘口:用 QuantDash 读取单只股票的验收清单与易错点
python·数据分析·pandas·量化交易·股票数据·quantdash
武子康11 小时前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
可乐ea12 小时前
MCP 和 CLI 差 42 倍:一次 GitHub 任务的上下文成本实测
人工智能·github·工具调用·ai智能体·openrouter·mcp协议·上下文优化
kyriewen12 小时前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能