机器学习—为什么我们需要激活函数

如果我们使用神经网络中每个神经元的线性激活函数,回想一下这个需求预测示例,如果对所有节点使用线性激活函数,在这个神经网络中,事实证明,这个大神经网络将变得与线性回归没有什么不同,所以这将挫败使用神经网络的全部目的,只是无法拟合比线性回归模型更复杂的东西。

用一个更简单的例子来说明这一点,看一个神经网络的例子,其中输入x只是一个数字,有一个隐藏单位,参数w和b,输出一个,这里只是一个数字a[1],然后第二层是输出层,它也只有一个输出单元,参数为w2 b2,输出一个a2,也就是一个数字,只是一个标量,它是神经网络f(x)的输出,如果用线性激活函数,g(z)=z,将x=a1计算,神经网络将使用a1=g(w)*x+b1,具体替换如下图所示,所以w只是一个线性函数而不是使用一个隐藏层和一个输出层的神经网络,还不如用线性回归模型,如果熟悉线性代数,线性函数的线性函数本身就是线性函数,这就是为什么在神经网络中有多层,不会让神经网络计算更复杂的特征或者学习比线性函数更复杂的东西。

所以在一般情况下,如果你有一个像这样的多层神经网络,假设你对所有隐藏层使用线性激活函数,并对输出层使用线性激活函数,这个模型将计算出完全等价于线性回归的输出,输出a4可以表示为输入特征的线性函数,如果仍然对所有隐藏层使用线性激活函数,这里的这三个隐藏层,但我们要对输出层使用逻辑激活函数,然后证明这个模型等价于Logistic回归,所以这个大神经网络什么也不做,不能用逻辑回归,这就是为什么一个常见的经验法则是不要在神经网络的隐藏层中使用线性激活函数,事实上,使用relu激活函数应该很好。

相关推荐
Gyoku Mint4 分钟前
深度学习×第4卷:Pytorch实战——她第一次用张量去拟合你的轨迹
人工智能·pytorch·python·深度学习·神经网络·算法·聚类
zzywxc7876 分钟前
AI大模型的技术演进、流程重构、行业影响三个维度的系统性分析
人工智能·重构
点控云7 分钟前
智能私域运营中枢:从客户视角看 SCRM 的体验革新与价值重构
大数据·人工智能·科技·重构·外呼系统·呼叫中心
zhaoyi_he14 分钟前
多模态大模型的技术应用与未来展望:重构AI交互范式的新引擎
人工智能·重构
葫三生1 小时前
如何评价《论三生原理》在科技界的地位?
人工智能·算法·机器学习·数学建模·量子计算
m0_751336392 小时前
突破性进展:超短等离子体脉冲实现单电子量子干涉,为飞行量子比特奠定基础
人工智能·深度学习·量子计算·材料科学·光子器件·光子学·无线电电子
美狐美颜sdk5 小时前
跨平台直播美颜SDK集成实录:Android/iOS如何适配贴纸功能
android·人工智能·ios·架构·音视频·美颜sdk·第三方美颜sdk
DeepSeek-大模型系统教程6 小时前
推荐 7 个本周 yyds 的 GitHub 项目。
人工智能·ai·语言模型·大模型·github·ai大模型·大模型学习
郭庆汝6 小时前
pytorch、torchvision与python版本对应关系
人工智能·pytorch·python
IT古董6 小时前
【第二章:机器学习与神经网络概述】03.类算法理论与实践-(3)决策树分类器
神经网络·算法·机器学习