《深度学习》—— 神经网络中常用的激活函数

文章目录

  • [1. Sigmoid 激活函数](#1. Sigmoid 激活函数)
  • [2. Softmax 激活函数](#2. Softmax 激活函数)
  • [3. ReLU 激活函数](#3. ReLU 激活函数)
  • [4. Leaky ReLU 激活函数](#4. Leaky ReLU 激活函数)
  • [5. ELU 激活函数](#5. ELU 激活函数)
  • [6. Tanh 激活函数](#6. Tanh 激活函数)

激活函数(Activation Function)是在人工神经网络的神经元上运行的函数,负责将神经元的输入映射到输出端 。它在神经网络中扮演着至关重要的角色,主要作用是对所有的隐藏层和输出层添加一个非线性的操作,使得神经网络的输出更为复杂、表达能力更强。

1. Sigmoid 激活函数

  • 函数定义:Sigmoid函数是一种S型函数,也称为S型生长曲线或Logistic函数。其数学表达式为:
  • 特点:
    • 能够将输入的连续实值变换为0和1之间的输出,适合用作二分类的输出层
    • 函数平滑且易于求导
  • 缺点:
    • 激活函数计算量大,反向传播求误差梯度时涉及除法运算
    • 反向传播时容易出现梯度消失的情况,影响深层网络的训练
  • 函数图像:

2. Softmax 激活函数

  • 函数定义:Softmax函数通常用于多分类问题的输出层,其数学表达式为:
  • 特点:
    • 将输出转化为概率分布,所有输出值之和为1
    • 非常适合多分类问题
  • 函数图像:

3. ReLU 激活函数

  • 函数定义:ReLU函数是线性整流函数,其数学表达式为:
  • 特点:
    • 解决了梯度消失问题
    • 计算速度非常快,收敛速度远快于Sigmoid和Tanh
  • 缺点:
    • 输出的不是以0为中心
    • 某些神经元可能永远不会被激活(Dead ReLU)
  • 函数图像:

4. Leaky ReLU 激活函数

  • 函数定义:Leaky ReLU函数是ReLU函数的改进版,其数学表达式为:
    • α 是一个很小的常数
  • 特点:
    • 继承了ReLU函数的优点
    • 解决了Dead ReLU问题
  • 函数图像:

5. ELU 激活函数

  • 函数定义:ELU函数是另一种ReLU函数的改进版,其数学表达式为:
  • 特点:
    • 解决了ReLU的Dead ReLU问题
    • 在所有点上都是连续且可微的
    • 相比ReLU及其变体,在某些情况下能提高训练速度和准确度
  • 函数图象:

6. Tanh 激活函数

  • 函数定义:Tanh函数是双曲正切函数,其数学表达式为:
  • 特点:
    • 解决了Sigmoid函数不以0为中心输出的问题
    • 函数输出范围在-1到1之间,更接近数据真实分布
  • 缺点:
    • 仍然存在梯度消失的问题
    • 涉及幂运算,计算相对复杂
  • 函数图像:
相关推荐
szxinmai主板定制专家11 分钟前
RK3588+AI算力卡替代英伟达jetson方案,大算力,支持FPGA自定义扩展
arm开发·人工智能·分布式·fpga开发
ccut 第一混22 分钟前
c# 使用yolov5模型
人工智能·深度学习
PHOSKEY23 分钟前
应用案例丨3D工业相机如何实现「焊接全工序守护」
人工智能
喜欢吃豆1 小时前
从指令到智能:大型语言模型提示词工程与上下文工程的综合分析
人工智能·语言模型·自然语言处理·大模型·提示词工程·上下文工程
七元权1 小时前
论文阅读-FoundationStereo
论文阅读·深度学习·计算机视觉·零样本·基础模型·双目深度估计
Fuly10241 小时前
prompt构建技巧
人工智能·prompt
智驱力人工智能1 小时前
使用手机检测的智能视觉分析技术与应用 加油站使用手机 玩手机检测
深度学习·算法·目标检测·智能手机·视觉检测·边缘计算
XXX-X-XXJ1 小时前
二:RAG 的 “语义密码”:向量、嵌入模型与 Milvus 向量数据库实操
人工智能·git·后端·python·django·milvus
艾醒(AiXing-w)1 小时前
探索大语言模型(LLM):大模型微调方式全解析
人工智能·语言模型·自然语言处理
科兴第一吴彦祖1 小时前
基于Spring Boot + Vue 3的乡村振兴综合服务平台
java·vue.js·人工智能·spring boot·推荐算法