sigmoid & ReLU 等激活函数总结

sigmoid

ReLU

sigoid和ReLU对比

1.sigmoid有梯度消失问题：当sigmoid的输出非常接近0或者1时，区域的梯度几乎为0，而ReLU在正区间的梯度总为1。如果Sigmoid没有正确初始化，它可能在正区间得到几乎为0的梯度。使模型无法有效训练。

2.sigmoid需要复杂的求幂运算。