技术栈
relu
Lanceli_van
1 个月前
人工智能
·
激活函数
·
relu
激活函数ReLU的原理与应用
ReLU凭借其简单性、高效性和对梯度消失问题的缓解能力,成为深度学习模型的基石。尽管存在神经元死亡等问题,但其改进变体(如Leaky ReLU、Swish)进一步提升了鲁棒性。在实际应用中,ReLU是大多数神经网络隐藏层的默认选择,结合合理的初始化和正则化技术,可显著提升模型性能。
开出南方的花
5 个月前
人工智能
·
pytorch
·
深度学习
·
神经网络
·
激活函数
·
relu
·
参数初始化
深度学习-神经网络基础-激活函数与参数初始化(weight, bias)
人工神经网络是一种模仿生物神经网络结构和功能的计算模型, 由神经元构成将神经元串联起来 -> 神经网络
一支绝命钩
1 年前
python
·
深度学习
·
激活函数
·
relu
深度学习:激活函数曲线总结
在深度学习中有很多时候需要利用激活函数进行非线性处理,在搭建网路的时候也是非常重要的,为了更好的理解不同的激活函数的区别和差异,在这里做一个简单的总结,在pytorch中常用的激活函数的数学表达形式,同时为了更直观的感受,给出不同激活函数的曲线形式,方便查询。