了解神经网络中的激活函数

一、激活函数的特征

  1. 非线性,激活函数必须是非线性函数。
  2. 可微性,训练网络模型时,基于梯度的模型最优化方法要求激活函数必须是可导的。
  3. 单调性,单调递增或单调递减,单调函数保证模型的简单。
  4. 隐藏层一般需要使用激活函数已引入非线性,输入层不需要。输出层如果是回归问题也是不需要的,如果是多分类问题,使用softmax函数将输出转化为概率分布,如果是二分类问题,可以使用sigmoid函数。

二、常见的激活函数

  1. sigmoid函数

    sigmoid激活函数: f ( x ) = 1 1 + e − x f(x)=\frac{1}{1+e^{-x}} f(x)=1+e−x1,其导数为: f ′ ( x ) = f ( x ) ( 1 − f ( x ) ) f'(x)=f(x)(1-f(x)) f′(x)=f(x)(1−f(x)),导数的取值范围[0, 1/4],sigmoid在使用反向传播来训练神经网络时,会产生梯度消失的问题,另外sigmoid处理后的输出数据是一个非负值,在反向传播过程中会增加梯度的不稳定性。

  2. tanh函数

    tanh激活函数: f ( x ) = e x − e − x e x + e − x f(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}} f(x)=ex+e−xex−e−x,其导数为: f ′ ( x ) = 1 − f ( x ) 2 f'(x)=1-f(x)^2 f′(x)=1−f(x)2,导数的取值范围为[0, 1],反向传播过程中衰减速度比sigmoid要慢,经过tanh激活函数处理后的输出均值约为0(这相当于做了归一化),所以tanh比sigmoid具有更稳定的梯度,但是依然无法避免梯度消失的问题。

  3. 近似生物神经元的激活函数

    如ReLU,softplus等,还有Leaky ReLU,ELU,Softmax等。

三、常见的神经网络模型

神经网络类型 主要特点 典型应用场景
前馈神经网络 信息单向流动,无反馈循环;层级结构清晰;常用于分类和回归问题 图像分类、文本分类、回归预测
反馈神经网络(RNN) 信息可以在网络中循环传播,具有记忆能力;适用于序列数据 自然语言处理(机器翻译、情感分析)、语音识别、时间序列预测
卷积神经网络(CNN) 利用卷积核提取局部特征,适用于图像、视频等数据 图像分类、目标检测、图像分割
循环神经网络变种(LSTM、GRU) 改进RNN,解决了长期依赖问题,更好地处理长序列数据 自然语言处理、语音识别
生成对抗网络(GAN) 由生成器和判别器组成,通过对抗学习生成新的数据 图像生成、数据增强
图神经网络(GNN) 处理图结构数据,适用于社交网络、分子结构等 社交网络分析、药物发现
相关推荐
白-胖-子5 分钟前
深入剖析大模型在文本生成式 AI 产品架构中的核心地位
人工智能·架构
想要成为计算机高手1 小时前
11. isaacsim4.2教程-Transform 树与Odometry
人工智能·机器人·自动驾驶·ros·rviz·isaac sim·仿真环境
静心问道2 小时前
InstructBLIP:通过指令微调迈向通用视觉-语言模型
人工智能·多模态·ai技术应用
宇称不守恒4.02 小时前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
小楓12013 小时前
醫護行業在未來會被AI淘汰嗎?
人工智能·醫療·護理·職業
数据与人工智能律师3 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
chenchihwen3 小时前
大模型应用班-第2课 DeepSeek使用与提示词工程课程重点 学习ollama 安装 用deepseek-r1:1.5b 分析PDF 内容
人工智能·学习
说私域3 小时前
公域流量向私域流量转化策略研究——基于开源AI智能客服、AI智能名片与S2B2C商城小程序的融合应用
人工智能·小程序
Java樱木3 小时前
AI 编程工具 Trae 重要的升级。。。
人工智能
码字的字节3 小时前
深度学习损失函数的设计哲学:从交叉熵到Huber损失的深入探索
深度学习·交叉熵·huber