- 机器学习中的常用函数
logistic函数（sigmoid函数）：非线性激活函数，将R区间映射到(0,1)区间
ReLU函数：非线性激活函数，简单可以写作max(0,x)，在0处不可导，但是可以人为定义其导数。优点：缓解了sigmoid函数梯度消失的问题，单侧抑制符合生物神经元特征，带来了稀疏性（dropout），缓解了过拟合。
缺点：神经元死亡，权重无法更新，且不可逆转，解决办法是设置较小的学习率。
softplus函数：非线性激活函数，可以看作ReLU函数的光滑近似，该函数的导数为logistic函数
- 线性和非线性的区别
线性函数：一种线性映射，在二维空间中是一条直线，满足可加性和齐次性
非线性函数：一种非线性映射，在二维空间中不是一条直线（曲线或折线），通常不满足可加性和齐次性