深度学习中常见的激活函数

1. Sigmoid函数

  • 范围:输出值在0到1之间。
  • 导数
  • 优点:简单直观,适用于二分类问题的输出层。
  • 缺点:在输入值较大或较小时,梯度会变得非常小(梯度消失),这会导致深层网络训练困难。同时,Sigmoid函数的输出不是以0为中心的,这可能会导致梯度下降过程中的不稳定。

应用场景:常用于二分类问题的输出层,早期的全连接层中也会使用。

2. Tanh(双曲正切函数)

  • 范围:输出值在-1到1之间。
  • 导数
  • 优点:相比Sigmoid,tanh函数的输出以0为中心,这有助于梯度的传播。对于输入值较小或较大的情况,梯度的消失问题相对较轻。
  • 缺点:当输入值非常大或非常小时,tanh函数的梯度仍然会接近于零(梯度消失)。

应用场景:适用于中间层的激活函数,尤其是在需要负值和正值的情况中。

3. ReLU()激活函数

  • 范围:输出值在0到正无穷之间。
  • 导数
  • 优点:计算简单,梯度计算效率高,减少了梯度消失的问题,有助于加速网络的收敛。
  • 缺点:可能导致"死亡神经元"问题,即大量神经元输出恒为0,无法进行有效的训练。

应用场景:广泛应用于隐藏层的激活函数,是现代深度学习模型中的默认选择。

相关推荐
DeeplyMind9 小时前
AMD KFD驱动技术分析16:SVM Aperture
人工智能·机器学习·amdgpu·rocm·kfd
非门由也9 小时前
《sklearn机器学习——聚类性能指标》Davies-Bouldin Index (戴维斯-博尔丁指数)
人工智能·机器学习·支持向量机
limengshi1383929 小时前
人工智能学习:LR和SVM的联系与区别?
人工智能·算法·机器学习·支持向量机
爆改模型9 小时前
【CVPR2025】计算机视觉|即插即用|DSSA:即插即用!显著提升模型性能的双重稀疏注意力模块!
人工智能·计算机视觉
2401_8979300611 小时前
tensorflow常用使用场景
人工智能·python·tensorflow
deepdata_cn12 小时前
开源混合专家大语言模型(DBRX)
人工智能·语言模型
deepdata_cn12 小时前
开源本地LLM推理引擎(Cortex AI)
人工智能·推理引擎
说私域13 小时前
“互联网 +”时代商业生态变革:以开源 AI 智能名片链动 2+1 模式 S2B2C 商城小程序为例
人工智能·小程序·开源
stbomei13 小时前
AI大模型如何重塑日常?从智能办公到生活服务的5个核心改变
人工智能
酷飞飞13 小时前
错误是ModuleNotFoundError: No module named ‘pip‘解决“找不到 pip”
人工智能·python·pip