【深度学习】【框架】【基本结构】激活函数

1. relu

2. softmax

3. sigmoid

4. silu

函数：f(x) = x * sigmoid(x)

优点： 它既有 ReLU（Rectified Linear Unit）激活函数的一些优点（例如，能够缓解梯度消失问题），又能解决 ReLU 函数的一些缺点（例如，ReLU 函数不是零中心的，且在负数部分的梯度为零）。此外，Swish 函数还是平滑函数，这意味着它在整个定义域内都有导数，这有利于优化。

SiLu激活函数解释-CSDN博客