神经网络中的神经元和激活函数介绍

文章目录

1、什么是人工神经网络

2、什么是神经元

3、什么是激活函数

线性激活函数

Sigmoid激活函数

双曲正切激活函数

修正线性单元(ReLU)激活函数

[Leaky ReLU激活函数](#Leaky ReLU激活函数)

Softmax激活函数


1、什么是人工神经网络

神经网络能够利用多层神经元学习复杂的模式,这些神经元会对数据进行数学变换。

输入层和输出层之间的层被称为"隐藏层"。

神经网络具有一种独特的能力,可以学习并识别数据中的复杂特征关系,而这些关系可能对于其他传统的算法来说难以直接发现和建模。

多层感知器(MLP)

上面的图表是一个多层感知器(MLP)。

一个MLP至少要有三层:输入层、隐藏层和输出层。

它们是完全连接的,即一层中的每个节点都通过权重与下一层中的每个节点相连。

深度学习这一术语用于指代由许多隐藏层构建的机器学习模型:深度神经网络。

2、什么是神经元

人工神经元(也被称为感知器)是一个数学函数。

它接收一个或多个输入,这些输入乘以被称为**"权重"**的值并相加。

然后,这个值被传递给一个非线性函数,称为激活函数,以生成神经元的输出。

  • x值指的是输入,要么是原始特征,要么是前一层隐藏层的输入。
  • 在每一层中,还有一个偏置b,它可以帮助更好地拟合数据。
  • 神经元将值a传递给下一层中与之连接的所有神经元,或者将其作为最终值返回。

计算从线性方程开始:

在添加非线性激活函数之前:

3、什么是激活函数

激活函数是神经元应用的一个非线性函数,用于在网络中引入非线性特性。

如果第一个变量的变化对应于第二个变量的恒定变化,那么这种关系就是线性的。

非线性关系意味着第一个变量的变化并不一定对应于第二个变量的恒定变化。

然而,它们可能会相互影响,但看起来是不可预测的。

通过引入非线性,我们可以更好地捕捉数据中的模式。

这是一个直观的例子。

最佳拟合线性和非线性模型

线性激活函数

  • 直线函数:a是一个常数
  • 值可能会变得非常大
  • 仅线性函数本身无法捕捉复杂的模式

Sigmoid激活函数

  • 是一个非线性函数,因此可以捕捉更复杂的模式
  • 输出值是有界的,因此不会变得太大
  • 可能会受到"梯度消失"的影响

双曲正切激活函数

  • 是一个非线性激活函数,因此可以捕捉更复杂的模式
  • 输出值是有界的,因此不会变得太大
  • 可能会受到"梯度消失"的影响

修正线性单元(ReLU)激活函数

  • 是一个非线性函数,因此可以捕捉更复杂的模式
  • 值可能会变得非常大
  • 由于它不允许负值,因此可能无法捕捉某些模式
  • 梯度可能趋于0,因此权重不会更新:"ReLU死亡问题"

Leaky ReLU激活函数

  • 是一个非线性函数,因此可以捕捉更复杂的模式
  • 尝试解决"ReLU死亡问题"
  • 值可能会变得非常大

另外,除了使用0.01,它也可以是一个参数,该参数在训练过程中与权重一起学习。这被称为参数化ReLU (PReLU)。

Softmax激活函数

  • 每个值的范围在0到1之间,并且所有值的和为1,因此可用于建模概率分布
  • 仅用于输出层,而不是整个网络

参考:人工智能学习指南

相关推荐
Teacher.chenchong7 分钟前
现代R语言机器学习:Tidymodel/Tidyverse语法+回归/树模型/集成学习/SVM/深度学习/降维/聚类分类与科研绘图可视化
机器学习·回归·r语言
AndrewHZ9 分钟前
【图像处理基石】如何入门色彩评估?
图像处理·人工智能·深度学习·色彩科学·hvs·色彩评估·颜色工程
TomatoSCI9 分钟前
聚类的可视化选择:PCA / t-SNE丨TomatoSCI分析日记
人工智能·机器学习
大咖分享课11 分钟前
深度剖析:最新发布的ChatGPT Agent 技术架构与应用场景
人工智能·openai·智能助手·ai代理·chatgpt agent·自主任务执行
lucky_lyovo21 分钟前
卷积神经网络--网络性能提升
人工智能·神经网络·cnn
liliangcsdn25 分钟前
smolagents - 如何在mac用agents做简单算术题
人工智能·macos·prompt
nju_spy29 分钟前
周志华《机器学习导论》第8章 集成学习 Ensemble Learning
人工智能·随机森林·机器学习·集成学习·boosting·bagging·南京大学
星座5281 小时前
基于现代R语言【Tidyverse、Tidymodel】的机器学习方法与案例分析
机器学习·r语言·tidyverse·tidymodel
静心问道1 小时前
TrOCR: 基于Transformer的光学字符识别方法,使用预训练模型
人工智能·深度学习·transformer·多模态
说私域1 小时前
基于开源AI大模型、AI智能名片与S2B2C商城小程序源码的用户价值引导与核心用户沉淀策略研究
人工智能·开源