深度学习中常见的激活函数

1. Sigmoid函数

  • 范围:输出值在0到1之间。
  • 导数 :
  • 优点:简单直观,适用于二分类问题的输出层。
  • 缺点:在输入值较大或较小时,梯度会变得非常小(梯度消失),这会导致深层网络训练困难。同时,Sigmoid函数的输出不是以0为中心的,这可能会导致梯度下降过程中的不稳定。

应用场景:常用于二分类问题的输出层,早期的全连接层中也会使用。

2. Tanh(双曲正切函数)

  • 范围:输出值在-1到1之间。
  • 导数 :
  • 优点:相比Sigmoid,tanh函数的输出以0为中心,这有助于梯度的传播。对于输入值较小或较大的情况,梯度的消失问题相对较轻。
  • 缺点:当输入值非常大或非常小时,tanh函数的梯度仍然会接近于零(梯度消失)。

应用场景:适用于中间层的激活函数,尤其是在需要负值和正值的情况中。

3. ReLU()激活函数

  • 范围:输出值在0到正无穷之间。
  • 导数 :
  • 优点:计算简单,梯度计算效率高,减少了梯度消失的问题,有助于加速网络的收敛。
  • 缺点:可能导致"死亡神经元"问题,即大量神经元输出恒为0,无法进行有效的训练。

应用场景:广泛应用于隐藏层的激活函数,是现代深度学习模型中的默认选择。

相关推荐
一水鉴天13 分钟前
同一与唯一:AppBus 外壳与 DevOps 内核 之1 20261121(元宝)
人工智能·机器学习
Wellijohn26 分钟前
一个 Android 老兵的十年开源路:从 167 star 的滑动控件,到本地优先的 AI Agent
android·人工智能·开源
ZONGYUAN-ROOT35 分钟前
【API配额】API 配额监控告警不生效?用 Python 监控读数变化量,抓住静态阈值漏掉的「假重置」
人工智能
Wellijohn1 小时前
我把公司内部的 12 个 CRUD 接口交给了 AI Agent,然后省出了两周
人工智能·python·mcp
伞伞悦读3 小时前
【第92期】逻辑回归的分数概率与阈值的实验与排查
人工智能·python·深度学习·机器学习
7177773 小时前
互联网企业研发平台推荐:从工具堆叠到一体化协同的选型逻辑
人工智能·gitee
立青.4 小时前
AI大模型术语
人工智能
土豆12506 小时前
你只说要什么,它负责拆活交付:任务编排插件上手指南
人工智能·llm
GoldenSpider.AI8 小时前
讲透 Claude Code 的 Code Mode:原理、流程、用法与 24 轮实测
人工智能·ai编程·claude code