sigmoid & ReLU 等激活函数总结

sigmoid


ReLU


sigoid和ReLU对比

1.sigmoid有梯度消失问题:当sigmoid的输出非常接近0或者1时,区域的梯度几乎为0,而ReLU在正区间的梯度总为1。如果Sigmoid没有正确初始化,它可能在正区间得到几乎为0的梯度。使模型无法有效训练。

2.sigmoid需要复杂的求幂运算。

相关推荐
2202_7567496932 分钟前
自然处理语言NLP:One-Hot编码、TF-IDF、词向量、NLP特征输入、EmbeddingLayer实现、word2vec
人工智能·深度学习·自然语言处理·tf-idf·word2vec
坐吃山猪1 小时前
动手学深度学习03-线性神经网络
人工智能·深度学习·神经网络·动手学深度学习
神齐的小马7 小时前
机器学习 [白板推导](十三)[条件随机场]
人工智能·机器学习
@Wufan7 小时前
【机器学习】7 Linear regression
人工智能·机器学习·线性回归
tainshuai8 小时前
从零开始理解 K 均值聚类:原理、实现与应用
机器学习·均值算法·聚类
明月照山海-9 小时前
机器学习周报十
深度学习·机器学习·cnn
@Wufan9 小时前
【机器学习】10 Directed graphical models (Bayes nets)
人工智能·机器学习
我找到地球的支点啦9 小时前
Matlab系列(005) 一 归一化
人工智能·机器学习·matlab·信息与通信
ygy.白茶9 小时前
线性回归入门级
人工智能·python·机器学习
@Wufan9 小时前
【机器学习】9 Generalized linear models and the exponential family
人工智能·机器学习