了解神经网络中的激活函数

一、激活函数的特征

  1. 非线性,激活函数必须是非线性函数。
  2. 可微性,训练网络模型时,基于梯度的模型最优化方法要求激活函数必须是可导的。
  3. 单调性,单调递增或单调递减,单调函数保证模型的简单。
  4. 隐藏层一般需要使用激活函数已引入非线性,输入层不需要。输出层如果是回归问题也是不需要的,如果是多分类问题,使用softmax函数将输出转化为概率分布,如果是二分类问题,可以使用sigmoid函数。

二、常见的激活函数

  1. sigmoid函数

    sigmoid激活函数: f ( x ) = 1 1 + e − x f(x)=\frac{1}{1+e^{-x}} f(x)=1+e−x1,其导数为: f ′ ( x ) = f ( x ) ( 1 − f ( x ) ) f'(x)=f(x)(1-f(x)) f′(x)=f(x)(1−f(x)),导数的取值范围0, 1/4,sigmoid在使用反向传播来训练神经网络时,会产生梯度消失的问题,另外sigmoid处理后的输出数据是一个非负值,在反向传播过程中会增加梯度的不稳定性。

  2. tanh函数

    tanh激活函数: f ( x ) = e x − e − x e x + e − x f(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}} f(x)=ex+e−xex−e−x,其导数为: f ′ ( x ) = 1 − f ( x ) 2 f'(x)=1-f(x)^2 f′(x)=1−f(x)2,导数的取值范围为0, 1,反向传播过程中衰减速度比sigmoid要慢,经过tanh激活函数处理后的输出均值约为0(这相当于做了归一化),所以tanh比sigmoid具有更稳定的梯度,但是依然无法避免梯度消失的问题。

  3. 近似生物神经元的激活函数

    如ReLU,softplus等,还有Leaky ReLU,ELU,Softmax等。

三、常见的神经网络模型

神经网络类型 主要特点 典型应用场景
前馈神经网络 信息单向流动,无反馈循环;层级结构清晰;常用于分类和回归问题 图像分类、文本分类、回归预测
反馈神经网络(RNN) 信息可以在网络中循环传播,具有记忆能力;适用于序列数据 自然语言处理(机器翻译、情感分析)、语音识别、时间序列预测
卷积神经网络(CNN) 利用卷积核提取局部特征,适用于图像、视频等数据 图像分类、目标检测、图像分割
循环神经网络变种(LSTM、GRU) 改进RNN,解决了长期依赖问题,更好地处理长序列数据 自然语言处理、语音识别
生成对抗网络(GAN) 由生成器和判别器组成,通过对抗学习生成新的数据 图像生成、数据增强
图神经网络(GNN) 处理图结构数据,适用于社交网络、分子结构等 社交网络分析、药物发现
相关推荐
VIP_CQCRE1 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷2 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我3 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁013 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
Csvn3 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄4 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下5 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码5 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下6 小时前
langgraph 全栈项目(二)
前端·人工智能·后端
大模型真好玩6 小时前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek