pytorch反向传播算法

目录

  • [1. 链式法则复习](#1. 链式法则复习)
  • [2. 多输出感知机](#2. 多输出感知机)
  • [3. 多层感知机](#3. 多层感知机)
  • [4. 多层感知机梯度推导](#4. 多层感知机梯度推导)
  • [5. 反向传播的总结](#5. 反向传播的总结)

1. 链式法则复习

2. 多输出感知机

3. 多层感知机

如图:

4. 多层感知机梯度推导

简化式子把( O k O_k Ok - t k t_k tk) O k O_k Ok(1 - O k O_k Ok)起个别名叫 δ k K \delta^K_k δkK


5. 反向传播的总结


个人认为所谓的反向传播就是从输出层->到第一层输入一层一层计算梯度的过程,然后不断迭代达到优化W的目的。注意输出层和隐藏层是不一样的。

相关推荐
Green1Leaves23 分钟前
pytorch学习-9.多分类问题
人工智能·pytorch·学习
摸爬滚打李上进7 小时前
重生学AI第十六集:线性层nn.Linear
人工智能·pytorch·python·神经网络·机器学习
HuashuiMu花水木7 小时前
PyTorch笔记1----------Tensor(张量):基本概念、创建、属性、算数运算
人工智能·pytorch·笔记
喝过期的拉菲1 天前
如何使用 Pytorch Lightning 启用早停机制
pytorch·lightning·早停机制
kk爱闹1 天前
【挑战14天学完python和pytorch】- day01
android·pytorch·python
Yo_Becky1 天前
【PyTorch】PyTorch预训练模型缓存位置迁移,也可拓展应用于其他文件的迁移
人工智能·pytorch·经验分享·笔记·python·程序人生·其他
xinxiangwangzhi_1 天前
pytorch底层原理学习--PyTorch 架构梳理
人工智能·pytorch·架构
FF-Studio1 天前
【硬核数学 · LLM篇】3.1 Transformer之心:自注意力机制的线性代数解构《从零构建机器学习、深度学习到LLM的数学认知》
人工智能·pytorch·深度学习·线性代数·机器学习·数学建模·transformer
盼小辉丶1 天前
PyTorch实战(14)——条件生成对抗网络(conditional GAN,cGAN)
人工智能·pytorch·生成对抗网络
Gyoku Mint2 天前
深度学习×第4卷:Pytorch实战——她第一次用张量去拟合你的轨迹
人工智能·pytorch·python·深度学习·神经网络·算法·聚类