激活函数

陈壮实的搬砖生活

激活函数为何能增强神经网络的非线性表达能力？神经网络的威力有多强？现在的大模型可以写诗作画、图像识别可以识人识猫，这背后都是神经网络的功劳。而激活函数在其中扮演着重要的角色，如果神经网络中没有“激活函数”，再深的网络其实也没啥用。本质上，它只是一堆线性函数的叠加，无法处理真正复杂的任务。本文分享一个关键问题：

关于神经网络中的激活函数这篇博客主要介绍一下神经网络中的激活函数以及为什么要存在激活函数。首先，我先做一个简单的类比：激活函数的作用就像给神经网络里的 “数字信号” 加了一个 “智能阀门”，让机器能学会像人类一样思考复杂问题。

深度学习与神经网络前馈神经网络无需人去告知神经网络具体的特征是什么，神经网络可以自主学习（1）连续并可导（允许少数点不可导）的非线性函数

机器学习中的关键术语及其含义机器学习中的神经网络是一种模仿生物神经网络的结构和功能的数学模型或计算模型。它是指按照一定的规则将多个神经元连接起来的网络。

深度学习：损失函数与激活函数全解析在深度学习中，损失函数和激活函数是模型训练过程中两个最核心的组件。损失函数衡量模型预测与真实值之间的差异，为优化算法提供方向；而激活函数为神经网络引入非线性能力，使网络能够学习复杂模式。本文将全面解析深度学习中常见的损失函数和激活函数，包括数学原理、特性分析、适用场景以及Python实现，并通过实验对比不同组合的效果。

PyTorch 线性回归模型构建与神经网络基础要点解析仿生生物学神经网络的计算模型ANN(人工神经网络)->NN(神经网络)神经网络是由三个层, 每层由多个神经元构成

从线性到非线性：简单聊聊神经网络的常见三大激活函数大家好，我是沛哥儿，我们今天一起来学习下神经网络的三个常用的激活函数。激活函数是神经网络中非常重要的组成部分，它引入了非线性因素，使得神经网络能够学习和表示复杂的函数关系。

PaddlePaddle线性回归详解：从模型定义到加载，掌握深度学习基础目录书接上文PyTorch与TensorFlow模型全方位解析：保存、加载与结构可视化-CSDN博客文章浏览阅读479次，点赞6次，收藏17次。本文深入探讨了PyTorch和TensorFlow中模型管理的关键方面，包括模型的保存与加载以及网络结构的可视化。涵盖了PyTorch中模型和参数的保存与加载，以及使用多种工具进行模型结构分析。同时，详细介绍了TensorFlow中模型的定义方式、保存方法、加载流程以及模型结构的可视化技术，旨在帮助读者全面掌握两大深度学习框架的模型管理技巧。https://blo

手搓多模态-05 transformer编码层前面我们已经实现一个图像嵌入层和顶层的模型调度：这里我们传入一个图像数据集，它会先通过SiglipVisionEmbeddings 把图像编码成嵌入向量，但此时的向量还不是上下文相关的，所以我们加入了一个SiglipEncoder层来做注意力嵌入，嵌入完了之后通过归一化即可返回一个图像的上下文相关的嵌入向量。有关图像嵌入部分和归一化部分之前已经提及了。这里我们着重于实现transformer的注意力层。

面试常问系列(一)-神经网络参数初始化说到参数初始化，先提一下大家常见的两个概念梯度消失和梯度爆炸。在反向传播过程中，梯度值随着网络层数增加呈指数级衰减，最终趋近于零，导致浅层权重几乎不更新。

大模型学习笔记------Llama 3模型架构之RMS Norm与激活函数SwiGLU归一化模块是各个网络结构中必有得模块之一。Llama 3模型基于Transformer，Transformer中采用的归一化模块通常为层归一化Layer Norm（LN），如下图所示。而Llama模型采用LN的改进版RMS Norm。

激活函数ReLU的原理与应用ReLU凭借其简单性、高效性和对梯度消失问题的缓解能力，成为深度学习模型的基石。尽管存在神经元死亡等问题，但其改进变体（如Leaky ReLU、Swish）进一步提升了鲁棒性。在实际应用中，ReLU是大多数神经网络隐藏层的默认选择，结合合理的初始化和正则化技术，可显著提升模型性能。

计算机视觉：卷积神经网络(CNN)基本概念(一)第一章：计算机视觉中图像的基础认知第二章：计算机视觉：卷积神经网络(CNN)基本概念(一) 第三章：计算机视觉：卷积神经网络(CNN)基本概念(二) 第四章：搭建一个经典的LeNet5神经网络

神经网络常见激活函数 6-RReLU函数RReLU函数 R R e L U = { x x ≥ 0 a x x < 0 \rm RReLU = \left\{ \begin{array}{} x \quad x \ge 0 \\ a x \quad x < 0 \end{array} \right. RReLU={xx≥0axx<0 其中，( a ) 是一个在训练过程中随机从均匀分布 ( U(l, u) ) 中采样的值，( l ) 和 ( u ) 是预先设定的下界和上界，通常 ( 0 < l < u < 1 )。

ECCV 2024，全新激活函数！激活函数对深度神经网络的成功可太重要了，它可以提升学习复杂关系的能力，减少过拟合，增强模型性能，与它相关的研究一直是重中之重。最近，这方向有了不少新突破。

【深度学习】神经网络之SoftmaxSoftmax 函数是神经网络中常用的一种激活函数，尤其在分类问题中广泛应用。它将一个实数向量转换为概率分布，使得每个输出值都位于 [0, 1] 之间，并且所有输出值的和为 1。这样，Softmax 可以用来表示各类别的预测概率。

程序员非鱼

深度学习中常见的激活函数详解在深度学习领域的神经网络中，激活函数解锁了模型对复杂数据模式的捕捉能力。它们在神经元中发挥着至关重要的作用，将输入信号转换为输出信号，赋予网络非线性特性，使其能够学习和模拟各种复杂的函数关系。接下来本文将带你探索几种常见的激活函数，从公式、图例到PyTorch代码示例，以及它们的优缺点和使用场景等方面进行激活函数的介绍。

深度学习常见激活函数介绍如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，最终的输出都是输入的线性组合。激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数。

秀儿还能再秀

神经网络中常用的激活函数（公式 + 函数图像）激活函数是人工神经网络中的一个关键组件，负责引入非线性，从而使神经网络能够学习和表示复杂的非线性关系。没有激活函数，神经网络中的所有计算都是线性变换，而线性模型的表达能力有限，无法处理复杂的任务。

开出南方的花

深度学习-神经网络基础-激活函数与参数初始化(weight, bias)人工神经网络是一种模仿生物神经网络结构和功能的计算模型, 由神经元构成将神经元串联起来 -> 神经网络