【pytorch22】激活函数与GPU加速

激活函数


ReLu还是还是可能出现梯度弥散,因为x<0的时候,梯度还是可能小于0

leaky relu,在x<0的时候,梯度就不会为0,梯度不会不动

Relu函数在x=0处是不连续的

一种更加光滑的曲线是SELU,是两个函数的concat

softplus,把ReLu的尖点x=0做了一个平滑处理,使得导数不连续的地方导数连续

目前用的最多的是Relu、sigmoid,tan h(RNN)以及Leaky Relu

GPU加速

loss层也是需要计算的,可以把loss层也搬到GPU上去

相关推荐
Green1Leaves9 小时前
pytorch学习-9.多分类问题
人工智能·pytorch·学习
摸爬滚打李上进15 小时前
重生学AI第十六集:线性层nn.Linear
人工智能·pytorch·python·神经网络·机器学习
HuashuiMu花水木15 小时前
PyTorch笔记1----------Tensor(张量):基本概念、创建、属性、算数运算
人工智能·pytorch·笔记
喝过期的拉菲1 天前
如何使用 Pytorch Lightning 启用早停机制
pytorch·lightning·早停机制
kk爱闹1 天前
【挑战14天学完python和pytorch】- day01
android·pytorch·python
Yo_Becky2 天前
【PyTorch】PyTorch预训练模型缓存位置迁移,也可拓展应用于其他文件的迁移
人工智能·pytorch·经验分享·笔记·python·程序人生·其他
xinxiangwangzhi_2 天前
pytorch底层原理学习--PyTorch 架构梳理
人工智能·pytorch·架构
FF-Studio2 天前
【硬核数学 · LLM篇】3.1 Transformer之心:自注意力机制的线性代数解构《从零构建机器学习、深度学习到LLM的数学认知》
人工智能·pytorch·深度学习·线性代数·机器学习·数学建模·transformer
盼小辉丶2 天前
PyTorch实战(14)——条件生成对抗网络(conditional GAN,cGAN)
人工智能·pytorch·生成对抗网络
Gyoku Mint2 天前
深度学习×第4卷:Pytorch实战——她第一次用张量去拟合你的轨迹
人工智能·pytorch·python·深度学习·神经网络·算法·聚类