pytorch深度学习笔记10

目录

摘要

1.反向传播

加法节点的反向传播

乘法节点的反向传播

2.激活层的反向传播和实现

ReLU的反向传播

Sigmoid的反向传播


摘要

本篇文章继续学习尚硅谷深度学习教程,学习内容是反向传播相关内容

1.反向传播

利用计算图的反向传播,可以很容易地计算出输出关于输入的偏导数

加法节点的反向传播

对于z=x+y,,。因此加法的反向传播会将上游传来的值原样向下游传递。

乘法节点的反向传播

对于z=xy,,。因此乘法的反向传播会将上游传来的值乘以输入的翻转向下游传递。

2.激活层的反向传播和实现

将计算图应用到神经网络中。神经网络中一步重要的计算操作就是激活函数,下面就来讨论各种激活函数的反向传播,基于这些我们就可以用代码实现激活层的完整功能了。

​​​​​​​ReLU的反向传播

对于ReLU函数:

其导数为:

分为和两种情况分别讨论,反向传播的计算图如下:

ReLU层可以在代码中实现为一个类 Relu:

python 复制代码
class Relu:
    def __init__(self):
        self.mask = None

    def forward(self, x):
        self.mask = (x <= 0)
        out = x.copy()
        out[self.mask] = 0

        return out

    def backward(self, dout):
        dout[self.mask] = 0
        dx = dout
        return dx
​​​​​​​Sigmoid的反向传播

对于Sigmoid函数:

其导数为:

利用计算图的反向传播,也可以得到相同的结果:

简化得:

Sigmoid层可以在代码中实现为一个类 Sigmoid:

python 复制代码
class Sigmoid:
    def __init__(self):
        self.out = None

    def forward(self, x):
        out = sigmoid(x)
        self.out = out
        return out

    def backward(self, dout):
        dx = dout * (1.0 - self.out) * self.out

        return dx
相关推荐
蒸蒸yyyyzwd7 小时前
数据库相关错题笔记
笔记·学习
哈尔滨张谦蛋8 小时前
兰州大学 · 甘肃省可穿戴装备重点实验室 · 2027年博士招生
人工智能·深度学习
蒸蒸yyyyzwd9 小时前
后端学习笔记,设计模式相关以及微服务相关
笔记·学习
chh56320 小时前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert
yiangL_1 天前
Python 学习笔记:递归、turtle绘图、字符串与函数
笔记·python·学习
人生!?1 天前
Linux 从入门到进阶 | 基础语法
linux·笔记·教程
汤姆宝库1 天前
RoPE旋转位置编码的实现与长上下文外推
python·深度学习·机器学习
tellmewhoisi1 天前
深度学习0:数学知识:(L1正则化和L2正则化)
人工智能·深度学习
β添砖java1 天前
Transformer大白话学习笔记
笔记·学习·transformer