《深度学习》—— 神经网络中常用的激活函数

文章目录

  • [1. Sigmoid 激活函数](#1. Sigmoid 激活函数)
  • [2. Softmax 激活函数](#2. Softmax 激活函数)
  • [3. ReLU 激活函数](#3. ReLU 激活函数)
  • [4. Leaky ReLU 激活函数](#4. Leaky ReLU 激活函数)
  • [5. ELU 激活函数](#5. ELU 激活函数)
  • [6. Tanh 激活函数](#6. Tanh 激活函数)

激活函数(Activation Function)是在人工神经网络的神经元上运行的函数,负责将神经元的输入映射到输出端 。它在神经网络中扮演着至关重要的角色,主要作用是对所有的隐藏层和输出层添加一个非线性的操作,使得神经网络的输出更为复杂、表达能力更强。

1. Sigmoid 激活函数

  • 函数定义:Sigmoid函数是一种S型函数,也称为S型生长曲线或Logistic函数。其数学表达式为:
  • 特点:
    • 能够将输入的连续实值变换为0和1之间的输出,适合用作二分类的输出层
    • 函数平滑且易于求导
  • 缺点:
    • 激活函数计算量大,反向传播求误差梯度时涉及除法运算
    • 反向传播时容易出现梯度消失的情况,影响深层网络的训练
  • 函数图像:

2. Softmax 激活函数

  • 函数定义:Softmax函数通常用于多分类问题的输出层,其数学表达式为:
  • 特点:
    • 将输出转化为概率分布,所有输出值之和为1
    • 非常适合多分类问题
  • 函数图像:

3. ReLU 激活函数

  • 函数定义:ReLU函数是线性整流函数,其数学表达式为:
  • 特点:
    • 解决了梯度消失问题
    • 计算速度非常快,收敛速度远快于Sigmoid和Tanh
  • 缺点:
    • 输出的不是以0为中心
    • 某些神经元可能永远不会被激活(Dead ReLU)
  • 函数图像:

4. Leaky ReLU 激活函数

  • 函数定义:Leaky ReLU函数是ReLU函数的改进版,其数学表达式为:
    • α 是一个很小的常数
  • 特点:
    • 继承了ReLU函数的优点
    • 解决了Dead ReLU问题
  • 函数图像:

5. ELU 激活函数

  • 函数定义:ELU函数是另一种ReLU函数的改进版,其数学表达式为:
  • 特点:
    • 解决了ReLU的Dead ReLU问题
    • 在所有点上都是连续且可微的
    • 相比ReLU及其变体,在某些情况下能提高训练速度和准确度
  • 函数图象:

6. Tanh 激活函数

  • 函数定义:Tanh函数是双曲正切函数,其数学表达式为:
  • 特点:
    • 解决了Sigmoid函数不以0为中心输出的问题
    • 函数输出范围在-1到1之间,更接近数据真实分布
  • 缺点:
    • 仍然存在梯度消失的问题
    • 涉及幂运算,计算相对复杂
  • 函数图像:
相关推荐
李元豪5 分钟前
MetaGPT、AutoGen、XAgent camel仔细对比
人工智能
AndrewHZ7 分钟前
【图像处理基石】图像Inpainting入门详解
图像处理·人工智能·深度学习·opencv·transformer·图像修复·inpainting
jiushun_suanli16 分钟前
PyTorch CV模型实战全流程(一)
人工智能·pytorch·python
学技术的大胜嗷21 分钟前
如何裁剪YOLOv8m的大目标检测头并验证其结构
深度学习·yolo·目标检测·计算机视觉
大千AI助手24 分钟前
HOSVD(高阶奇异值分解):高维数据的“解剖术”
人工智能·线性代数·矩阵·张量·svd·hosvd·高阶奇异值分解
mit6.8241 小时前
[nanoGPT] 编排训练 | `get_batch` | AdamW | `get_lr` | 分布式训练(DDP)
人工智能
rengang661 小时前
30-机器学习应用案例:展示机器学习在各行业中的典型应用实例
人工智能·机器学习
盈创力和20071 小时前
以太网多参量传感器:超越温湿度的“智能嗅探”,守护每一方空气的安全
大数据·人工智能
wwlsm_zql1 小时前
江西移动5G赋能:电力行业智能化革新探秘
人工智能·5g
迪三达1 小时前
GPT-0: Attention+Transformer+可视化
gpt·深度学习·transformer