激活函数

秀儿还能再秀

神经网络中常用的激活函数（公式 + 函数图像）激活函数是人工神经网络中的一个关键组件，负责引入非线性，从而使神经网络能够学习和表示复杂的非线性关系。没有激活函数，神经网络中的所有计算都是线性变换，而线性模型的表达能力有限，无法处理复杂的任务。

开出南方的花

深度学习-神经网络基础-激活函数与参数初始化(weight, bias)人工神经网络是一种模仿生物神经网络结构和功能的计算模型, 由神经元构成将神经元串联起来 -> 神经网络

开出南方的花

机器学习篇-day04-逻辑回归-分类评估-混淆矩阵-精确率-召回率-F1值主要适用于二分法, 也可以使用多个逻辑回归实现多分类逻辑回归 = 线性回归结果 -> Sigmoid函数 => 概率

从函数逼近角度理解神经网络、残差连接与激活函数最近思考激活函数的时候，突然想到神经网络中残差连接是不是和函数的泰勒展开很像，尤其是在激活函数 f ( x ) = x 2 f(x)=x^2 f(x)=x2时(这个激活函数想法来源于 f ( x ) = R e L U 2 ( x ) [ 3 ] f(x)=ReLU^2(x)[3] f(x)=ReLU2(x)[3])，所以验证了一下就顺便写下来了，本文抛砖引玉，如果有建议或更好的想法可以写到评论区。

愤怒的可乐

[论文笔记]GAUSSIAN ERROR LINEAR UNITS (GELUS)今天来看一下GELU的原始论文。作者提出了GELU(Gaussian Error Linear Unit,高斯误差线性单元)非线性激活函数： GELU = x Φ ( x ) \text{GELU}= x\Phi(x) GELU=xΦ(x)，其中 Φ ( x ) \Phi(x) Φ(x)是标准高斯累积分布函数。与ReLU激活函数通过输入的符号进行门控不同，GELU非线性激活函数通过输入的数值进行加权。

愤怒的可乐

[论文笔记]SEARCHING FOR ACTIVATION FUNCTIONS今天带来另一篇激活函数论文SEARCHING FOR ACTIVATION FUNCTIONS的笔记。

训练深度神经网络，使用反向传播算法，产生梯度消失和梯度爆炸问题的原因？🍉 CSDN 叶庭云：https://yetingyun.blog.csdn.net/反向传播是神经网络训练的精髓。它是根据上一个迭代获得的误差（即损失）对神经网络的权重进行微调的做法。权重的适当调整可确保较低的误差，从而通过提高模型的泛化能力使其变得可靠。反向传播算法的核心思想和工作原理可分为以下几个方面：

深度学习——常用激活函数解析与对比在神经网络中，激活函数扮演着至关重要的角色。它们的主要目的是引入非线性因素，使得网络能够学习和表示更加复杂的函数映射。以下是激活函数应具备的特点，以及这些特点为何重要的详细解释：

【神经网络基本知识整理】（激活函数） && （梯度＋梯度下降＋梯度消失＋梯度爆炸）我们知道神经网络中前一层与后面一层的连接可以用y = wx + b表示，这其实就是一个线性表达，即便模型有无数的隐藏层，简化后依旧是上述的线性表达式，那么模型的拟合能力非常受限。因此引入了激活函数σ，y = σ(wx + b)，使得模型能够拟合非线性的问题。常用的激活函数详解可参考👉激活函数详解 ///激活函数详解

神奇的布欧

深度学习中常用激活函数介绍sigmoid函数将输入变换为(0,1)上的输出。它将范围(-inf,inf)中的任意输入压缩到区间(0,1)中的某个值：

PyTorch官网demo解读——第一个神经网络（4）上一篇：PyTorch官网demo解读——第一个神经网络（3）-CSDN博客上一篇我们聊了手写数字识别神经网络的损失函数和梯度下降算法，这一篇我们来聊聊激活函数。

深度学习——激活函数汇总参考资料：

智慧医疗探索者

pytorch中的激活函数详解激活函数是神经网络中引入的非线性函数，用于捕获数据中的复杂关系。它来自动物界的灵感，动物的神经元会接受来自对它有作用的其他神经元的信号，当然这些信号对该神经元的作用大小不同（即具有不同的权重）。那么该神经元的信号值就是其他神经元信号加权求和后的值。如果该信号值大于指定阈值，则会激活，否则不会激活，抽象的数学模型为：

神经网络常用激活函数详解🎀个人主页： https://zhangxiaoshu.blog.csdn.net 📢欢迎大家：关注🔍+点赞👍+评论📝+收藏⭐️，如有错误敬请指正! 💕未来很长，值得我们全力奔赴更美好的生活！

一支绝命钩

深度学习：激活函数曲线总结在深度学习中有很多时候需要利用激活函数进行非线性处理，在搭建网路的时候也是非常重要的，为了更好的理解不同的激活函数的区别和差异，在这里做一个简单的总结，在pytorch中常用的激活函数的数学表达形式，同时为了更直观的感受，给出不同激活函数的曲线形式，方便查询。

【AI】深度学习——人工智能、深度学习与神经网络专家知识（人工规则）机器学习 ≈ \approx ≈ 构建一个映射函数(规则)样本特征 ⟺ \iff ⟺ 表示

激活函数总结（四十二）：激活函数补充(SSFG、Gumbel Cross Entropy)在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、I

激活函数总结（三十五）：激活函数补充(KAF、Siren)在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、I

Dynamic ReLU：根据输入动态确定的ReLU这是我最近才看到的一篇论文，它提出了动态ReLU (Dynamic ReLU, DY-ReLU)，可以将全局上下文编码为超函数，并相应地调整分段线性激活函数。与传统的ReLU相比，DY-ReLU的额外计算成本可以忽略不计，但表示能力明显增强，并且实现简单，所以可以非常简单的对我们现有的模型进行修改。

激活函数总结（十七）：激活函数补充(PELU、Phish)在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、I