深度学习中常见的激活函数

1. Sigmoid函数

  • 范围:输出值在0到1之间。
  • 导数
  • 优点:简单直观,适用于二分类问题的输出层。
  • 缺点:在输入值较大或较小时,梯度会变得非常小(梯度消失),这会导致深层网络训练困难。同时,Sigmoid函数的输出不是以0为中心的,这可能会导致梯度下降过程中的不稳定。

应用场景:常用于二分类问题的输出层,早期的全连接层中也会使用。

2. Tanh(双曲正切函数)

  • 范围:输出值在-1到1之间。
  • 导数
  • 优点:相比Sigmoid,tanh函数的输出以0为中心,这有助于梯度的传播。对于输入值较小或较大的情况,梯度的消失问题相对较轻。
  • 缺点:当输入值非常大或非常小时,tanh函数的梯度仍然会接近于零(梯度消失)。

应用场景:适用于中间层的激活函数,尤其是在需要负值和正值的情况中。

3. ReLU()激活函数

  • 范围:输出值在0到正无穷之间。
  • 导数
  • 优点:计算简单,梯度计算效率高,减少了梯度消失的问题,有助于加速网络的收敛。
  • 缺点:可能导致"死亡神经元"问题,即大量神经元输出恒为0,无法进行有效的训练。

应用场景:广泛应用于隐藏层的激活函数,是现代深度学习模型中的默认选择。

相关推荐
Tech Synapse9 分钟前
电商商品推荐系统实战:基于TensorFlow Recommenders构建智能推荐引擎
人工智能·python·tensorflow
帅帅的Python10 分钟前
2015-2023 各省 GDP 数据,用QuickBI 进行数据可视化——堆叠图!
大数据·人工智能
weixin_4307509319 分钟前
智能小助手部署 Win10 + ollama的Deepseek + CentOS+ maxKB
linux·人工智能·机器学习·语言模型·自然语言处理·centos
Panesle23 分钟前
大模型微调与蒸馏的差异性与相似性分析
人工智能·微调·蒸馏
多巴胺与内啡肽.23 分钟前
深度学习--循环神经网络RNN
人工智能·rnn·深度学习
子燕若水32 分钟前
解释PyTorch中的广播机制
人工智能·pytorch·python
计算机真好丸33 分钟前
第R4周:LSTM-火灾温度预测
人工智能·rnn·lstm
数据与人工智能律师37 分钟前
正确应对监管部门的数据安全审查
大数据·网络·数据库·人工智能·区块链
知来者逆39 分钟前
计算机视觉——对比YOLOv12、YOLOv11、和基于Darknet的YOLOv7的微调对比
深度学习·yolo·目标检测·计算机视觉·yolov7·yolov11·yolov12
偶尔微微一笑1 小时前
sgpt在kali应用
linux·人工智能·python·自然语言处理