pytorch链式法则

目录

  • [1. 主要的法则](#1. 主要的法则)
  • [2. 基本的法则](#2. 基本的法则)
  • [3. 链式法则](#3. 链式法则)
  • [4. pytorch验证链式法则](#4. pytorch验证链式法则)

1. 主要的法则

如下图:

链式法则的就是一级一级的求导,比如:y对x求导,首先计算y对中间变量u的导数,然后再乘以u对x的导数

2. 基本的法则

  • f + g
    y = x 2 x^2 x2 + x = 2x +1
  • f - g
    y = x 3 x^3 x3 - 3x = 3x - 3
  • 𝑓𝑔 ′ = 𝑓′𝑔 + 𝑓𝑔′
    x 4 1 x^{4^1} x41 = x 2 1 x^{2^1} x21x 2 x^2 x2 + x 2 x^2 x2 x 2 1 x^{2^1} x21 = 2x * x 2 x^2 x2 + x 2 x^2 x2 * 2x = 2 x 3 x^3 x3 + 2 x 3 x^3 x3 = 4 x 3 x^3 x3
  • softmax求导

    之前推导过,这里就不详述了。

3. 链式法则

如下图:

y对x求导,先计算y对中间变量u的导数,再乘以u对x的导数

u是中间层又叫隐藏层

由于 y 2 y_2 y2 = (x w 1 w_1 w1 + b 1 b_1 b1) * w 2 w_2 w2 + b 1 b_1 b1比较简单也可直接展开,但是对于有激活函数的式子直接展开就比较复杂了,因此还是要使用链式法则比较好。

e对w求导,经过了两级,一级一级求导即可。

4. pytorch验证链式法则

如下图:

从图中可以看出链式法则结果与pytorch自动求导结果一致,证明链式法则有效。

相关推荐
RobinDevNotes9 小时前
24GB Mac 做数字人:声音放本地,画面租云端
人工智能·python·macos·开发工具
user4465117917919 小时前
Agent 也能「过安检」:AgentScope 权限系统设计拆解
人工智能
烟小栀10 小时前
Windows下的深度学习环境配置参考及配置教程
人工智能
tellmewhoisi10 小时前
深度学习0:数学知识:最大似然推导过程
人工智能·深度学习·概率论
oil欧哟10 小时前
从产品经理视角拆解 DeepSeek Super-agent:双层路由与异步调度架构
人工智能
张张123y10 小时前
个人助手型 Agent 的六个工程细节:Hermes 与 OpenClaw 的审批、委派、上下文与调度
网络·人工智能·开源·后端开发·ai agent
学无止境小袁同学11 小时前
LlamaIndex Workflows 学习
python·llm·tensorflow·llamaindex·agent开发·多agent·workflows
Dawson Zhu11 小时前
【模型量化⑦】W4A8与GPTQ-Int4:极限压缩与MLC-LLM部署实战
人工智能·语言模型·架构·aigc·agi
千寻技术帮11 小时前
50055_基于AI的互帮互助小程序(源码+文档+数据库脚本+部署教程)
数据库·人工智能·小程序·毕业设计·springboot·课程设计
鲸渔11 小时前
【AI Agent系列课程13-Python 基础13】JSON 读写:结构化数据交换基础
开发语言·python·json·ai编程