深度学习中常见的激活函数

1. Sigmoid函数

  • 范围:输出值在0到1之间。
  • 导数
  • 优点:简单直观,适用于二分类问题的输出层。
  • 缺点:在输入值较大或较小时,梯度会变得非常小(梯度消失),这会导致深层网络训练困难。同时,Sigmoid函数的输出不是以0为中心的,这可能会导致梯度下降过程中的不稳定。

应用场景:常用于二分类问题的输出层,早期的全连接层中也会使用。

2. Tanh(双曲正切函数)

  • 范围:输出值在-1到1之间。
  • 导数
  • 优点:相比Sigmoid,tanh函数的输出以0为中心,这有助于梯度的传播。对于输入值较小或较大的情况,梯度的消失问题相对较轻。
  • 缺点:当输入值非常大或非常小时,tanh函数的梯度仍然会接近于零(梯度消失)。

应用场景:适用于中间层的激活函数,尤其是在需要负值和正值的情况中。

3. ReLU()激活函数

  • 范围:输出值在0到正无穷之间。
  • 导数
  • 优点:计算简单,梯度计算效率高,减少了梯度消失的问题,有助于加速网络的收敛。
  • 缺点:可能导致"死亡神经元"问题,即大量神经元输出恒为0,无法进行有效的训练。

应用场景:广泛应用于隐藏层的激活函数,是现代深度学习模型中的默认选择。

相关推荐
cloud studio AI应用6 分钟前
腾讯云 AI 代码助手:产品研发过程的思考和方法论
人工智能·云计算·腾讯云
Suyuoa12 分钟前
附录2-pytorch yolov5目标检测
python·深度学习·yolo
禁默17 分钟前
第六届机器人、智能控制与人工智能国际学术会议(RICAI 2024)
人工智能·机器人·智能控制
Robot25125 分钟前
浅谈,华为切入具身智能赛道
人工智能
只怕自己不够好29 分钟前
OpenCV 图像运算全解析:加法、位运算(与、异或)在图像处理中的奇妙应用
图像处理·人工智能·opencv
余生H1 小时前
transformer.js(三):底层架构及性能优化指南
javascript·深度学习·架构·transformer
果冻人工智能2 小时前
2025 年将颠覆商业的 8 大 AI 应用场景
人工智能·ai员工
代码不行的搬运工2 小时前
神经网络12-Time-Series Transformer (TST)模型
人工智能·神经网络·transformer
石小石Orz2 小时前
Three.js + AI:AI 算法生成 3D 萤火虫飞舞效果~
javascript·人工智能·算法
罗小罗同学2 小时前
医工交叉入门书籍分享:Transformer模型在机器学习领域的应用|个人观点·24-11-22
深度学习·机器学习·transformer