pytorch链式法则

目录

  • [1. 主要的法则](#1. 主要的法则)
  • [2. 基本的法则](#2. 基本的法则)
  • [3. 链式法则](#3. 链式法则)
  • [4. pytorch验证链式法则](#4. pytorch验证链式法则)

1. 主要的法则

如下图:

链式法则的就是一级一级的求导,比如:y对x求导,首先计算y对中间变量u的导数,然后再乘以u对x的导数

2. 基本的法则

  • f + g
    y = x 2 x^2 x2 + x = 2x +1
  • f - g
    y = x 3 x^3 x3 - 3x = 3x - 3
  • 𝑓𝑔 ′ = 𝑓′𝑔 + 𝑓𝑔′
    x 4 1 x^{4^1} x41 = x 2 1 x^{2^1} x21x 2 x^2 x2 + x 2 x^2 x2 x 2 1 x^{2^1} x21 = 2x * x 2 x^2 x2 + x 2 x^2 x2 * 2x = 2 x 3 x^3 x3 + 2 x 3 x^3 x3 = 4 x 3 x^3 x3
  • softmax求导

    之前推导过,这里就不详述了。

3. 链式法则

如下图:

y对x求导,先计算y对中间变量u的导数,再乘以u对x的导数

u是中间层又叫隐藏层

由于 y 2 y_2 y2 = (x w 1 w_1 w1 + b 1 b_1 b1) * w 2 w_2 w2 + b 1 b_1 b1比较简单也可直接展开,但是对于有激活函数的式子直接展开就比较复杂了,因此还是要使用链式法则比较好。

e对w求导,经过了两级,一级一级求导即可。

4. pytorch验证链式法则

如下图:

从图中可以看出链式法则结果与pytorch自动求导结果一致,证明链式法则有效。

相关推荐
万米商云1 分钟前
企业物资集采平台解决方案:跨地域、多仓库、百部门——大型企业如何用一套系统管好百万级物资?
大数据·运维·人工智能
新加坡内哥谈技术4 分钟前
Google AI 刚刚开源 MCP 数据库工具箱,让 AI 代理安全高效地查询数据库
人工智能
慕婉03076 分钟前
深度学习概述
人工智能·深度学习
大模型真好玩7 分钟前
准确率飙升!GraphRAG如何利用知识图谱提升RAG答案质量(额外篇)——大规模文本数据下GraphRAG实战
人工智能·python·mcp
19898 分钟前
【零基础学AI】第30讲:生成对抗网络(GAN)实战 - 手写数字生成
人工智能·python·深度学习·神经网络·机器学习·生成对抗网络·近邻算法
6confim8 分钟前
AI原生软件工程师
人工智能·ai编程·cursor
阿里云大数据AI技术8 分钟前
Flink Forward Asia 2025 主旨演讲精彩回顾
大数据·人工智能·flink
i小溪9 分钟前
在使用 Docker 时,如果容器挂载的数据目录(如 `/var/moments`)位于数据盘,只要服务没有读写,数据盘是否就不会被唤醒?
人工智能·docker
程序员NEO12 分钟前
Spring AI 对话记忆大揭秘:服务器重启,聊天记录不再丢失!
人工智能·后端
柠檬味拥抱12 分钟前
基于YOLOv8的100种中药分类识别项目|完整源码数据集+PyQt5界面+完整训练流程+开箱即用!
人工智能