《深度学习》—— 神经网络中常用的激活函数

文章目录

  • [1. Sigmoid 激活函数](#1. Sigmoid 激活函数)
  • [2. Softmax 激活函数](#2. Softmax 激活函数)
  • [3. ReLU 激活函数](#3. ReLU 激活函数)
  • [4. Leaky ReLU 激活函数](#4. Leaky ReLU 激活函数)
  • [5. ELU 激活函数](#5. ELU 激活函数)
  • [6. Tanh 激活函数](#6. Tanh 激活函数)

激活函数(Activation Function)是在人工神经网络的神经元上运行的函数,负责将神经元的输入映射到输出端 。它在神经网络中扮演着至关重要的角色,主要作用是对所有的隐藏层和输出层添加一个非线性的操作,使得神经网络的输出更为复杂、表达能力更强。

1. Sigmoid 激活函数

  • 函数定义:Sigmoid函数是一种S型函数,也称为S型生长曲线或Logistic函数。其数学表达式为:
  • 特点:
    • 能够将输入的连续实值变换为0和1之间的输出,适合用作二分类的输出层
    • 函数平滑且易于求导
  • 缺点:
    • 激活函数计算量大,反向传播求误差梯度时涉及除法运算
    • 反向传播时容易出现梯度消失的情况,影响深层网络的训练
  • 函数图像:

2. Softmax 激活函数

  • 函数定义:Softmax函数通常用于多分类问题的输出层,其数学表达式为:
  • 特点:
    • 将输出转化为概率分布,所有输出值之和为1
    • 非常适合多分类问题
  • 函数图像:

3. ReLU 激活函数

  • 函数定义:ReLU函数是线性整流函数,其数学表达式为:
  • 特点:
    • 解决了梯度消失问题
    • 计算速度非常快,收敛速度远快于Sigmoid和Tanh
  • 缺点:
    • 输出的不是以0为中心
    • 某些神经元可能永远不会被激活(Dead ReLU)
  • 函数图像:

4. Leaky ReLU 激活函数

  • 函数定义:Leaky ReLU函数是ReLU函数的改进版,其数学表达式为:
    • α 是一个很小的常数
  • 特点:
    • 继承了ReLU函数的优点
    • 解决了Dead ReLU问题
  • 函数图像:

5. ELU 激活函数

  • 函数定义:ELU函数是另一种ReLU函数的改进版,其数学表达式为:
  • 特点:
    • 解决了ReLU的Dead ReLU问题
    • 在所有点上都是连续且可微的
    • 相比ReLU及其变体,在某些情况下能提高训练速度和准确度
  • 函数图象:

6. Tanh 激活函数

  • 函数定义:Tanh函数是双曲正切函数,其数学表达式为:
  • 特点:
    • 解决了Sigmoid函数不以0为中心输出的问题
    • 函数输出范围在-1到1之间,更接近数据真实分布
  • 缺点:
    • 仍然存在梯度消失的问题
    • 涉及幂运算,计算相对复杂
  • 函数图像:
相关推荐
机器学习之心几秒前
经典灰狼算法+编码器+双向长短期记忆神经网络,GWO-Transformer-BiLSTM多变量回归预测,作者:机器学习之心!
神经网络·bilstm·gwo-transformer
txwtech2 分钟前
第10.4篇 使用预训练的目标检测网络
人工智能·计算机视觉·目标跟踪
羊小猪~~14 分钟前
【NLP入门系列四】评论文本分类入门案例
人工智能·自然语言处理·分类
roman_日积跬步-终至千里19 分钟前
【学习线路】机器学习线路概述与内容关键点说明
人工智能·学习·机器学习
静心问道23 分钟前
APE:大语言模型具有人类水平的提示工程能力
人工智能·算法·语言模型·大模型
zskj_zhyl27 分钟前
科技有温度:七彩喜智慧康养平台,为银发生活织就“数字守护网”
人工智能·科技·生活
嘉讯科技HIS系统29 分钟前
嘉讯科技:医疗信息化、数字化、智能化三者之间的关系和区别
大数据·数据库·人工智能·科技·智慧医疗
音视频牛哥31 分钟前
计算机视觉的新浪潮:扩散模型(Diffusion Models)技术剖析与应用前景
人工智能·计算机视觉·ai·音视频·实时音视频·扩散模型
爆改模型33 分钟前
【arXiv2025】计算机视觉|即插即用|LBMamba:革新视觉模型效率,性能炸裂
人工智能·计算机视觉
巴里巴气2 小时前
安装GPU版本的Pytorch
人工智能·pytorch·python