机器学习—为什么我们需要激活函数

如果我们使用神经网络中每个神经元的线性激活函数,回想一下这个需求预测示例,如果对所有节点使用线性激活函数,在这个神经网络中,事实证明,这个大神经网络将变得与线性回归没有什么不同,所以这将挫败使用神经网络的全部目的,只是无法拟合比线性回归模型更复杂的东西。

用一个更简单的例子来说明这一点,看一个神经网络的例子,其中输入x只是一个数字,有一个隐藏单位,参数w和b,输出一个,这里只是一个数字a[1],然后第二层是输出层,它也只有一个输出单元,参数为w2 b2,输出一个a2,也就是一个数字,只是一个标量,它是神经网络f(x)的输出,如果用线性激活函数,g(z)=z,将x=a1计算,神经网络将使用a1=g(w)*x+b1,具体替换如下图所示,所以w只是一个线性函数而不是使用一个隐藏层和一个输出层的神经网络,还不如用线性回归模型,如果熟悉线性代数,线性函数的线性函数本身就是线性函数,这就是为什么在神经网络中有多层,不会让神经网络计算更复杂的特征或者学习比线性函数更复杂的东西。

所以在一般情况下,如果你有一个像这样的多层神经网络,假设你对所有隐藏层使用线性激活函数,并对输出层使用线性激活函数,这个模型将计算出完全等价于线性回归的输出,输出a4可以表示为输入特征的线性函数,如果仍然对所有隐藏层使用线性激活函数,这里的这三个隐藏层,但我们要对输出层使用逻辑激活函数,然后证明这个模型等价于Logistic回归,所以这个大神经网络什么也不做,不能用逻辑回归,这就是为什么一个常见的经验法则是不要在神经网络的隐藏层中使用线性激活函数,事实上,使用relu激活函数应该很好。

相关推荐
草堂春睡足15 分钟前
【Datawhale AI夏令营】科大讯飞AI大赛(大模型技术)/夏令营:让AI理解列车排期表
人工智能·笔记
余俊晖16 分钟前
GRPO强化学习缓解多模态大模型OCR任务的幻觉思路及数据生成思路
人工智能
sssammmm21 分钟前
AI入门学习-模型评估示例讲解
人工智能·学习
小Tomkk24 分钟前
AutoLabelImg:高效的数据自动化标注工具和下载
运维·人工智能·自动化
aneasystone本尊25 分钟前
构建和使用 RAGFlow 的标签集
人工智能
柠檬味拥抱31 分钟前
CI/CD与模型监控平台集成MLOps系统实现的全面路径
人工智能
人生都在赌33 分钟前
MCP生态全景:2025年最值得关注的AI工具集成现状深度调研
人工智能·ai编程·mcp
旧时光巷1 小时前
【机器学习-2】 | 决策树算法基础/信息熵
算法·决策树·机器学习·id3算法·信息熵·c4.5算法
落了一地秋1 小时前
4.5 优化器中常见的梯度下降算法
人工智能·算法·机器学习
格林威1 小时前
Baumer工业相机堡盟工业相机如何通过YoloV8深度学习模型实现卫星图像识别(C#代码,UI界面版)
人工智能·深度学习·数码相机·yolo·计算机视觉