文章目录
- [1. Sigmoid 激活函数](#1. Sigmoid 激活函数)
- [2. Softmax 激活函数](#2. Softmax 激活函数)
- [3. ReLU 激活函数](#3. ReLU 激活函数)
- [4. Leaky ReLU 激活函数](#4. Leaky ReLU 激活函数)
- [5. ELU 激活函数](#5. ELU 激活函数)
- [6. Tanh 激活函数](#6. Tanh 激活函数)
激活函数（Activation Function）是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端 。它在神经网络中扮演着至关重要的角色，主要作用是对所有的隐藏层和输出层添加一个非线性的操作，使得神经网络的输出更为复杂、表达能力更强。
1. Sigmoid 激活函数
- 函数定义：Sigmoid函数是一种S型函数，也称为S型生长曲线或Logistic函数。其数学表达式为：
- 特点：
- 能够将输入的连续实值变换为0和1之间的输出，适合用作二分类的输出层
- 函数平滑且易于求导
- 缺点：
- 激活函数计算量大，反向传播求误差梯度时涉及除法运算
- 反向传播时容易出现梯度消失的情况，影响深层网络的训练
- 函数图像：
2. Softmax 激活函数
- 函数定义：Softmax函数通常用于多分类问题的输出层，其数学表达式为：
- 特点：
- 将输出转化为概率分布，所有输出值之和为1
- 非常适合多分类问题
- 函数图像：
3. ReLU 激活函数
- 函数定义：ReLU函数是线性整流函数，其数学表达式为：
- 特点：
- 解决了梯度消失问题
- 计算速度非常快，收敛速度远快于Sigmoid和Tanh
- 缺点：
- 输出的不是以0为中心
- 某些神经元可能永远不会被激活（Dead ReLU）
- 函数图像：
4. Leaky ReLU 激活函数
- 函数定义：Leaky ReLU函数是ReLU函数的改进版，其数学表达式为：
- α 是一个很小的常数
- 特点：
- 继承了ReLU函数的优点
- 解决了Dead ReLU问题
- 函数图像：
5. ELU 激活函数
- 函数定义：ELU函数是另一种ReLU函数的改进版，其数学表达式为：
- 特点：
- 解决了ReLU的Dead ReLU问题
- 在所有点上都是连续且可微的
- 相比ReLU及其变体，在某些情况下能提高训练速度和准确度
- 函数图象：
6. Tanh 激活函数
- 函数定义：Tanh函数是双曲正切函数，其数学表达式为：
- 特点：
- 解决了Sigmoid函数不以0为中心输出的问题
- 函数输出范围在-1到1之间，更接近数据真实分布
- 缺点：
- 仍然存在梯度消失的问题
- 涉及幂运算，计算相对复杂
- 函数图像：
