sigmoid & ReLU 等激活函数总结

sigmoid


ReLU


sigoid和ReLU对比

1.sigmoid有梯度消失问题:当sigmoid的输出非常接近0或者1时,区域的梯度几乎为0,而ReLU在正区间的梯度总为1。如果Sigmoid没有正确初始化,它可能在正区间得到几乎为0的梯度。使模型无法有效训练。

2.sigmoid需要复杂的求幂运算。

相关推荐
fishcat12 分钟前
对抗训练:FGM与PGD方法介绍
深度学习
Blossom.11822 分钟前
基于深度学习的医学图像分析:使用YOLOv5实现医学图像目标检测
人工智能·深度学习·yolo·目标检测·机器学习·计算机视觉·数据挖掘
木头左1 小时前
Python深度学习框架TensorFlow与Keras的实践探索
深度学习·tensorflow
岁月的眸2 小时前
【科普】贝叶斯神经网络与分形神经网络
人工智能·深度学习·神经网络
AI是草卖哩2 小时前
PINN+贝叶斯:深度学习中的魔改新思路
人工智能·深度学习·贝叶斯·pinn
AI 嗯啦2 小时前
机械学习--逻辑回归
算法·机器学习·逻辑回归
山烛2 小时前
逻辑回归详解:从数学原理到实际应用
python·算法·机器学习·逻辑回归
我要学习别拦我~2 小时前
TikTok 视频审核模型:用逻辑回归找出特殊类型的视频
机器学习·数据分析·逻辑回归
TalkU浩克2 小时前
DoRA详解:从LoRA到权重分解的进化
人工智能·深度学习·机器学习
OpenBayes3 小时前
OpenBayes 教程上新丨仅激活 3B 参数可媲美 GPT-4o,Qwen3 深夜更新,一手实测来了!
人工智能·机器学习·gpt-4o·qwen3·在线教程·长文本理解能力·指令跟随