【深度学习基础】激活函数:Tanh、Sigmoid 和 Softmax

激活函数是深度学习模型中不可或缺的一部分,它们赋予神经网络强大的非线性变换能力,使其能够拟合复杂的函数关系。在这篇博文中,我们将探讨三种常见的激活函数:Tanh、Sigmoid 和 Softmax,并提供一些记忆它们的技巧。


1. Tanh 函数

定义

Tanh(双曲正切函数)将输入值压缩到 [-1, 1] 的范围内。其公式如下:

应用场景

  • 常用于隐藏层的激活函数,特别是在需要零均值化数据的场景。
  • 广泛应用于循环神经网络(RNN)中。

优缺点

  • 优点:输出范围是 [-1, 1],零中心化可以使得数据更好地对称,帮助梯度下降算法更有效地进行优化。
  • 缺点:存在梯度消失问题,当输入值过大或过小时,梯度会变得非常小,影响深层神经网络的训练效果。

示例代码

python 复制代码
import numpy as np

def tanh(x):
    return np.tanh(x)

# 示例输入
logit = 0.5
output = tanh(logit)
print(output)  # 输出 0.46211715726000974

记忆技巧

  • Tanh 是"双曲正切"的缩写,输出范围 [-1, 1],零中心化,适合隐藏层。

2. Sigmoid 函数

定义

Sigmoid 函数将输入值压缩到 [0, 1] 的范围内。其公式如下:

应用场景

  • 常用于二分类问题的输出层激活函数。

优缺点

  • 优点:输出范围 [0, 1],适合处理概率问题。
  • 缺点:存在梯度消失问题,输出不是零中心化。

示例代码

python 复制代码
import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

# 示例输入
logit = 0.5
output = sigmoid(logit)
print(output)  # 输出 0.6224593312018546

记忆技巧

  • Sigmoid 函数有一个 "S" 形曲线,输出范围 [0, 1],适合二分类问题的输出层。

3. Softmax 函数

定义

Softmax 函数将向量的输出转化为概率分布,使得所有输出的和为1。其公式如下:

应用场景

  • 常用于多分类问题的输出层激活函数。

优缺点

  • 优点:将向量转化为概率分布,和为1,适合多分类问题。
  • 缺点:需要更多计算资源。

示例代码

python 复制代码
import numpy as np

def softmax(x):
    e_x = np.exp(x - np.max(x))
    return e_x / e_x.sum(axis=0)

# 示例输入
logits = np.array([1.0, 2.0, 3.0])
output = softmax(logits)
print(output)  # 输出 [0.09003057 0.24472847 0.66524096]

记忆技巧

  • Softmax 将向量转化为概率分布,和为1,适合多分类问题的输出层。

激活函数的顺序使用

在神经网络中,这些激活函数通常按以下顺序使用:

  1. 输入层:无激活函数,仅用于接受输入数据。
  2. 隐藏层:常用 Tanh 或 ReLU(另一种激活函数)进行激活。
  3. 输出层
    • 二分类问题:使用 Sigmoid 进行激活。
    • 多分类问题:使用 Softmax 进行激活。
    • 回归问题:通常无激活函数,或根据具体需求选择合适的激活函数。

结论

理解和记住 Tanh、Sigmoid 和 Softmax 函数的特性、应用场景和优缺点,可以帮助我们在构建和调试深度学习模型时做出更明智的选择。希望这些记忆技巧和示例代码能够帮助您更好地掌握这些激活函数。


相关推荐
知来者逆11 分钟前
计算机视觉——速度与精度的完美结合的实时目标检测算法RF-DETR详解
图像处理·人工智能·深度学习·算法·目标检测·计算机视觉·rf-detr
一勺汤14 分钟前
YOLOv11改进-双Backbone架构:利用双backbone提高yolo11目标检测的精度
人工智能·yolo·双backbone·double backbone·yolo11 backbone·yolo 双backbone
武汉唯众智创16 分钟前
高职人工智能技术应用专业(计算机视觉方向)实训室解决方案
人工智能·计算机视觉·人工智能实训室·计算机视觉实训室·人工智能计算机视觉实训室
Johny_Zhao27 分钟前
MySQL 高可用集群搭建部署
linux·人工智能·mysql·信息安全·云计算·shell·yum源·系统运维·itsm
一只可爱的小猴子36 分钟前
2022李宏毅老师机器学习课程笔记
人工智能·笔记·机器学习
地瓜机器人42 分钟前
乐聚机器人与地瓜机器人达成战略合作,联合发布Aelos Embodied具身智能
人工智能·机器人
带娃的IT创业者1 小时前
《AI大模型趣味实战》基于RAG向量数据库的知识库AI问答助手设计与实现
数据库·人工智能
__Benco1 小时前
OpenHarmony - 小型系统内核(LiteOS-A)(十),魔法键使用方法,用户态异常信息说明
人工智能·harmonyos
小杨4041 小时前
python入门系列二十(peewee)
人工智能·python·pycharm
IT古董1 小时前
【漫话机器学习系列】225.张量(Tensors)
人工智能