机器学习—为什么我们需要激活函数

如果我们使用神经网络中每个神经元的线性激活函数，回想一下这个需求预测示例，如果对所有节点使用线性激活函数，在这个神经网络中，事实证明，这个大神经网络将变得与线性回归没有什么不同，所以这将挫败使用神经网络的全部目的，只是无法拟合比线性回归模型更复杂的东西。

用一个更简单的例子来说明这一点，看一个神经网络的例子，其中输入x只是一个数字，有一个隐藏单位，参数w和b，输出一个，这里只是一个数字a[1]，然后第二层是输出层，它也只有一个输出单元，参数为w2 b2，输出一个a2，也就是一个数字，只是一个标量，它是神经网络f(x)的输出，如果用线性激活函数，g(z)=z，将x=a1计算，神经网络将使用a1=g(w)*x+b1，具体替换如下图所示，所以w只是一个线性函数而不是使用一个隐藏层和一个输出层的神经网络，还不如用线性回归模型，如果熟悉线性代数，线性函数的线性函数本身就是线性函数，这就是为什么在神经网络中有多层，不会让神经网络计算更复杂的特征或者学习比线性函数更复杂的东西。

所以在一般情况下，如果你有一个像这样的多层神经网络，假设你对所有隐藏层使用线性激活函数，并对输出层使用线性激活函数，这个模型将计算出完全等价于线性回归的输出，输出a4可以表示为输入特征的线性函数，如果仍然对所有隐藏层使用线性激活函数，这里的这三个隐藏层，但我们要对输出层使用逻辑激活函数，然后证明这个模型等价于Logistic回归，所以这个大神经网络什么也不做，不能用逻辑回归，这就是为什么一个常见的经验法则是不要在神经网络的隐藏层中使用线性激活函数，事实上，使用relu激活函数应该很好。