深度学习之激活函数(Deep Learning about Activation function)

二、激活函数

1、激活函数知识

1.1 激活函数概念

每个神经元做的事情:

  1. 线性变换:
  2. 非线性激活:

激活函数sigma就是""非线性,若没有它,100层网络 = 1层网络

线性描述的是一种按比例变化和可叠加的直接关系,在几何上通常表现为一条直线。

如果没有激活函数,多层线性变换等价于单层线性变换:

y= W3(W2(W1x+ b1) + b2) + b3 = (W3W2W1)x+ 常数

无论堆多少层,最终还是线性变换,100层 = 1层

激活函数在每一层之间插入一道非线性的弯,让神经网络得以拟合任意复杂的函数。

1.2 激活函数的基本要求

|--------|-------------------------|
| 要求 | 说明 |
| 非线性 | 激活函数本身不能是线性的,否则多层堆叠没有意义 |
| 几乎处处可导 | 反向传播需要计算梯度 |
| 梯度稳定 | 导数不能太大(梯度爆炸)或太小(梯度消失) |
| 计算高效 | 前向和反向都要快(会被调用上亿次) |

1.3 激活函数发展史

阶跃函数(1958)

问题:导数几乎处处为0,反向传播时梯度无法通过。

Sigmoid(1986)

优点:处处可导,输出在(0,1)可解释为概率。缺点:两端饱和导致梯度消失(|x|大时导数趋近于0)。

Tanh(1990)

优点:输出在(-1,1),零中心,优化更顺畅。缺点:仍然是s型函数,两端饱和问题存在。

ReLU(2010)


优点:

  • 正半轴导数恒为1,梯度畅通无阻
  • 计算极快(比较运算)
  • 产生稀疏激活(负值输出0)

缺点:

  • 死亡****ReLU:负值输出永远为0,梯度为0,无法恢复
  • 输出非零中心

Leaky ReLU / GELU / Swish

针对ReLU改进:

  • Leaky ReLU:负半轴给一个小斜率,避免神经元死亡
  • GELU:平滑近似,Transformer标配
  • Swish:Google用NAS搜索出来的激活函数,性能优秀

1.4 激活函数选择指南

|---------------|------------------|
| 场景 | 推荐激活函数 |
| 输出层:二分类 | Sigmoid |
| 输出层:多分类 | Softmax |
| 隐藏层:普通CNN/RNN | ReLU |
| 隐藏层:Transform | GELU/SiLU |
| 死亡神经元多时 | Leaky ReLU / ELU |

1.5 激活函数总结

相关推荐
forest_094 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
火山引擎开发者社区5 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔5 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区5 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM1235 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI5 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健6 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程
stormzhangV6 小时前
Google 重返第一梯队
人工智能·google·aigc
十有八七7 小时前
手搓 Agent(五):学会翻书——RAG,先查资料再回答
前端·人工智能·后端