【pytorch22】激活函数与GPU加速

激活函数


ReLu还是还是可能出现梯度弥散,因为x<0的时候,梯度还是可能小于0

leaky relu,在x<0的时候,梯度就不会为0,梯度不会不动

Relu函数在x=0处是不连续的

一种更加光滑的曲线是SELU,是两个函数的concat

softplus,把ReLu的尖点x=0做了一个平滑处理,使得导数不连续的地方导数连续

目前用的最多的是Relu、sigmoid,tan h(RNN)以及Leaky Relu

GPU加速

loss层也是需要计算的,可以把loss层也搬到GPU上去

相关推荐
F_D_Z10 小时前
【PyTorch】图像多分类项目部署
人工智能·pytorch·python·深度学习·分类
柴 基21 小时前
PyTorch 使用指南
人工智能·pytorch·python
空中湖1 天前
PyTorch武侠演义 第一卷:初入江湖 第7章:矿洞中的计算禁制
人工智能·pytorch·python
江山如画,佳人北望1 天前
pytorch常用函数
人工智能·pytorch·python
边缘常驻民2 天前
PyTorch深度学习入门记录3
人工智能·pytorch·深度学习
AndrewHZ2 天前
【图像处理基石】如何对遥感图像进行目标检测?
图像处理·人工智能·pytorch·目标检测·遥感图像·小目标检测·旋转目标检测
墨染点香2 天前
第七章 Pytorch构建模型详解【构建CIFAR10模型结构】
人工智能·pytorch·python
兮℡檬,2 天前
房价预测|Pytorch
人工智能·pytorch·python
贝塔西塔3 天前
PytorchLightning最佳实践基础篇
pytorch·深度学习·lightning·编程框架
小猪和纸箱3 天前
通过Python交互式控制台理解Conv1d的输入输出
pytorch