激活函数

PyTorch 线性回归模型构建与神经网络基础要点解析仿生生物学神经网络的计算模型ANN(人工神经网络)->NN(神经网络)神经网络是由三个层, 每层由多个神经元构成

从线性到非线性：简单聊聊神经网络的常见三大激活函数大家好，我是沛哥儿，我们今天一起来学习下神经网络的三个常用的激活函数。激活函数是神经网络中非常重要的组成部分，它引入了非线性因素，使得神经网络能够学习和表示复杂的函数关系。

PaddlePaddle线性回归详解：从模型定义到加载，掌握深度学习基础目录书接上文PyTorch与TensorFlow模型全方位解析：保存、加载与结构可视化-CSDN博客文章浏览阅读479次，点赞6次，收藏17次。本文深入探讨了PyTorch和TensorFlow中模型管理的关键方面，包括模型的保存与加载以及网络结构的可视化。涵盖了PyTorch中模型和参数的保存与加载，以及使用多种工具进行模型结构分析。同时，详细介绍了TensorFlow中模型的定义方式、保存方法、加载流程以及模型结构的可视化技术，旨在帮助读者全面掌握两大深度学习框架的模型管理技巧。https://blo

手搓多模态-05 transformer编码层前面我们已经实现一个图像嵌入层和顶层的模型调度：这里我们传入一个图像数据集，它会先通过SiglipVisionEmbeddings 把图像编码成嵌入向量，但此时的向量还不是上下文相关的，所以我们加入了一个SiglipEncoder层来做注意力嵌入，嵌入完了之后通过归一化即可返回一个图像的上下文相关的嵌入向量。有关图像嵌入部分和归一化部分之前已经提及了。这里我们着重于实现transformer的注意力层。

面试常问系列(一)-神经网络参数初始化说到参数初始化，先提一下大家常见的两个概念梯度消失和梯度爆炸。在反向传播过程中，梯度值随着网络层数增加呈指数级衰减，最终趋近于零，导致浅层权重几乎不更新。

大模型学习笔记------Llama 3模型架构之RMS Norm与激活函数SwiGLU归一化模块是各个网络结构中必有得模块之一。Llama 3模型基于Transformer，Transformer中采用的归一化模块通常为层归一化Layer Norm（LN），如下图所示。而Llama模型采用LN的改进版RMS Norm。

激活函数ReLU的原理与应用ReLU凭借其简单性、高效性和对梯度消失问题的缓解能力，成为深度学习模型的基石。尽管存在神经元死亡等问题，但其改进变体（如Leaky ReLU、Swish）进一步提升了鲁棒性。在实际应用中，ReLU是大多数神经网络隐藏层的默认选择，结合合理的初始化和正则化技术，可显著提升模型性能。

计算机视觉：卷积神经网络(CNN)基本概念(一)第一章：计算机视觉中图像的基础认知第二章：计算机视觉：卷积神经网络(CNN)基本概念(一) 第三章：计算机视觉：卷积神经网络(CNN)基本概念(二) 第四章：搭建一个经典的LeNet5神经网络

神经网络常见激活函数 6-RReLU函数RReLU函数 R R e L U = { x x ≥ 0 a x x < 0 \rm RReLU = \left\{ \begin{array}{} x \quad x \ge 0 \\ a x \quad x < 0 \end{array} \right. RReLU={xx≥0axx<0 其中，( a ) 是一个在训练过程中随机从均匀分布 ( U(l, u) ) 中采样的值，( l ) 和 ( u ) 是预先设定的下界和上界，通常 ( 0 < l < u < 1 )。

ECCV 2024，全新激活函数！激活函数对深度神经网络的成功可太重要了，它可以提升学习复杂关系的能力，减少过拟合，增强模型性能，与它相关的研究一直是重中之重。最近，这方向有了不少新突破。

【深度学习】神经网络之SoftmaxSoftmax 函数是神经网络中常用的一种激活函数，尤其在分类问题中广泛应用。它将一个实数向量转换为概率分布，使得每个输出值都位于 [0, 1] 之间，并且所有输出值的和为 1。这样，Softmax 可以用来表示各类别的预测概率。

程序员非鱼

深度学习中常见的激活函数详解在深度学习领域的神经网络中，激活函数解锁了模型对复杂数据模式的捕捉能力。它们在神经元中发挥着至关重要的作用，将输入信号转换为输出信号，赋予网络非线性特性，使其能够学习和模拟各种复杂的函数关系。接下来本文将带你探索几种常见的激活函数，从公式、图例到PyTorch代码示例，以及它们的优缺点和使用场景等方面进行激活函数的介绍。

深度学习常见激活函数介绍如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，最终的输出都是输入的线性组合。激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数。

秀儿还能再秀

神经网络中常用的激活函数（公式 + 函数图像）激活函数是人工神经网络中的一个关键组件，负责引入非线性，从而使神经网络能够学习和表示复杂的非线性关系。没有激活函数，神经网络中的所有计算都是线性变换，而线性模型的表达能力有限，无法处理复杂的任务。

开出南方的花

深度学习-神经网络基础-激活函数与参数初始化(weight, bias)人工神经网络是一种模仿生物神经网络结构和功能的计算模型, 由神经元构成将神经元串联起来 -> 神经网络

开出南方的花

机器学习篇-day04-逻辑回归-分类评估-混淆矩阵-精确率-召回率-F1值主要适用于二分法, 也可以使用多个逻辑回归实现多分类逻辑回归 = 线性回归结果 -> Sigmoid函数 => 概率

从函数逼近角度理解神经网络、残差连接与激活函数最近思考激活函数的时候，突然想到神经网络中残差连接是不是和函数的泰勒展开很像，尤其是在激活函数 f ( x ) = x 2 f(x)=x^2 f(x)=x2时(这个激活函数想法来源于 f ( x ) = R e L U 2 ( x ) [ 3 ] f(x)=ReLU^2(x)[3] f(x)=ReLU2(x)[3])，所以验证了一下就顺便写下来了，本文抛砖引玉，如果有建议或更好的想法可以写到评论区。

愤怒的可乐

[论文笔记]GAUSSIAN ERROR LINEAR UNITS (GELUS)今天来看一下GELU的原始论文。作者提出了GELU(Gaussian Error Linear Unit,高斯误差线性单元)非线性激活函数： GELU = x Φ ( x ) \text{GELU}= x\Phi(x) GELU=xΦ(x)，其中 Φ ( x ) \Phi(x) Φ(x)是标准高斯累积分布函数。与ReLU激活函数通过输入的符号进行门控不同，GELU非线性激活函数通过输入的数值进行加权。

愤怒的可乐

[论文笔记]SEARCHING FOR ACTIVATION FUNCTIONS今天带来另一篇激活函数论文SEARCHING FOR ACTIVATION FUNCTIONS的笔记。

训练深度神经网络，使用反向传播算法，产生梯度消失和梯度爆炸问题的原因？🍉 CSDN 叶庭云：https://yetingyun.blog.csdn.net/反向传播是神经网络训练的精髓。它是根据上一个迭代获得的误差（即损失）对神经网络的权重进行微调的做法。权重的适当调整可确保较低的误差，从而通过提高模型的泛化能力使其变得可靠。反向传播算法的核心思想和工作原理可分为以下几个方面：