relu

从线性到非线性：简单聊聊神经网络的常见三大激活函数大家好，我是沛哥儿，我们今天一起来学习下神经网络的三个常用的激活函数。激活函数是神经网络中非常重要的组成部分，它引入了非线性因素，使得神经网络能够学习和表示复杂的函数关系。

写给新人的深度学习扫盲贴：ReLu和梯度梯度是深度学习中最常用的激活函数之一，因其简单、高效且能有效缓解梯度消失问题而被广泛使用。$$ \text{ReLU}(x) = \max(0, x) = \begin{cases} x & \text{if } x \geq 0 \ 0 & \text{if } x < 0 \end{cases}

激活函数ReLU的原理与应用ReLU凭借其简单性、高效性和对梯度消失问题的缓解能力，成为深度学习模型的基石。尽管存在神经元死亡等问题，但其改进变体（如Leaky ReLU、Swish）进一步提升了鲁棒性。在实际应用中，ReLU是大多数神经网络隐藏层的默认选择，结合合理的初始化和正则化技术，可显著提升模型性能。

开出南方的花

深度学习-神经网络基础-激活函数与参数初始化(weight, bias)人工神经网络是一种模仿生物神经网络结构和功能的计算模型, 由神经元构成将神经元串联起来 -> 神经网络

一支绝命钩

深度学习：激活函数曲线总结在深度学习中有很多时候需要利用激活函数进行非线性处理，在搭建网路的时候也是非常重要的，为了更好的理解不同的激活函数的区别和差异，在这里做一个简单的总结，在pytorch中常用的激活函数的数学表达形式，同时为了更直观的感受，给出不同激活函数的曲线形式，方便查询。