深度学习中有界与无界激活函数详解：原理、特点、应用与工业部署
在深度学习中，依据输出数值范围，可将激活函数划分为两类：有界激活函数 （Bounded Activation）和无界激活函数（Unbounded Activation）。这一分类有助于理解神经网络的数值稳定性、梯度传播、训练优化以及量化部署表现。
需要先明确一点：有界/无界只描述函数输出值域，与函数是否连续、是否平滑、是否单调、是否可导没有必然绑定关系。这些都是彼此独立的数学属性。
一、核心定义
所谓"界"（Bound），指的是激活函数输出是否存在固定上下限。若输入 x∈(−∞,+∞)x \in (-\infty,+\infty)x∈(−∞,+∞) 任意变化，激活函数 f(x)f(x)f(x) 的输出始终被限制在某个有限区间内，则称为有界激活；若至少有一侧可以趋向无穷，则称为无界激活。
1.1 有界激活
有界激活的输出始终被约束在固定区间内：
a≤f(x)≤b a \le f(x) \le b a≤f(x)≤b
典型示例：
| 激活函数 | 输出范围 |
|---|---|
| Sigmoid | (0,1)(0,1)(0,1) |
| Tanh | (−1,1)(-1,1)(−1,1) |
| HardSigmoid | 0,10,10,1 |
| HardTanh | −1,1-1,1−1,1 |
| ReLU6 | 0,60,60,6 |
1.2 无界激活
无界激活至少有一侧输出没有固定有限上限或下限。
典型示例：
| 激活函数 | 输出范围 | 说明 |
|---|---|---|
| ReLU | [0,+∞)[0,+\infty)[0,+∞) | 下有界、上无界 |
| Leaky ReLU | (−∞,+∞)(-\infty,+\infty)(−∞,+∞) | 双侧无界 |
| ELU | (−α,+∞)(-\alpha,+\infty)(−α,+∞) | 下有界、上无界 |
| SiLU / Swish | [m,+∞)[m,+\infty)[m,+∞)，m≈−0.278m \approx -0.278m≈−0.278 | 下有界、上无界 |
| GELU | [m,+∞)[m,+\infty)[m,+∞)，m≈−0.17m \approx -0.17m≈−0.17 | 下有界、上无界 |
| Mish | [m,+∞)[m,+\infty)[m,+∞)，m≈−0.31m \approx -0.31m≈−0.31 | 下有界、上无界 |
| HardSwish | [−3/8,+∞)[-3/8,+\infty)[−3/8,+∞) | 下有界、上无界 |
修正说明：原文中将 GELU、SiLU、Mish 写成 (−∞,+∞)(-\infty,+\infty)(−∞,+∞) 不严谨。它们在负半轴存在有限的负向最小值，正半轴随输入增长而无界，因此应归为"下有界、上无界"的无界激活。这里的最小值为常用精确形式下的近似值，不同近似实现会有轻微差异。
二、常见激活函数分类汇总
| 激活函数 | 输出范围 | 类型判定 |
|---|---|---|
| Sigmoid | (0,1)(0,1)(0,1) | 有界 |
| Tanh | (−1,1)(-1,1)(−1,1) | 有界 |
| HardSigmoid | 0,10,10,1 | 有界 |
| HardTanh | −1,1-1,1−1,1 | 有界 |
| Softsign | (−1,1)(-1,1)(−1,1) | 有界 |
| ReLU | [0,+∞)[0,+\infty)[0,+∞) | 无界 |
| Leaky ReLU | (−∞,+∞)(-\infty,+\infty)(−∞,+∞) | 无界 |
| PReLU | (−∞,+∞)(-\infty,+\infty)(−∞,+∞) | 无界 |
| ELU | (−α,+∞)(-\alpha,+\infty)(−α,+∞) | 无界 |
| SELU | (−λα,+∞)(-\lambda\alpha,+\infty)(−λα,+∞) | 无界 |
| GELU | 下有界、上无界 | 无界 |
| SiLU / Swish | 下有界、上无界 | 无界 |
| Mish | 下有界、上无界 | 无界 |
| ReLU6 | 0,60,60,6 | 有界 |
| HardSwish | [−3/8,+∞)[-3/8,+\infty)[−3/8,+∞) | 无界 |
HardSwish 的常见定义为：
HardSwish(x)=x⋅ReLU6(x+3)6 \operatorname{HardSwish}(x)=x\cdot\frac{\operatorname{ReLU6}(x+3)}{6} HardSwish(x)=x⋅6ReLU6(x+3)
它可分为三段：
- 当 x≤−3x \le -3x≤−3 时，输出为 000。
- 当 −3<x<3-3 < x < 3−3<x<3 时，输出为 x(x+3)6\frac{x(x+3)}{6}6x(x+3)。
- 当 x≥3x \ge 3x≥3 时，输出为 xxx。
在中间区间对二次函数求导，可得极小值点 x=−1.5x=-1.5x=−1.5，对应最小值 −38-\frac{3}{8}−83。当 x≥3x \ge 3x≥3 时输出等于输入，因此正向无上限。HardSwish 的值域为 [−38,+∞)[-\frac{3}{8},+\infty)[−83,+∞)，属于无界激活。
需要特别注意：HardSwish 的部署优势主要来自分段线性形式和硬件算子支持，而不是来自"有界性"。它可由乘法、加法和 ReLU6 等简单算子组合实现，避免了 SiLU 中 sigmoid、exp 等复杂非线性计算，因此在移动端和边缘推理框架中更容易高效落地。
三、有界激活函数
有界激活函数输出范围稳定、数值可控，适合概率输出、输出约束和部分量化部署场景。但 Sigmoid、Tanh 等典型有界激活在输入绝对值较大时容易进入饱和区，导致导数趋近于 0，在深层网络中容易引发梯度消失。
3.1 Sigmoid
σ(x)=11+e−x \sigma(x)=\frac{1}{1+e^{-x}} σ(x)=1+e−x1
输出范围为 (0,1)(0,1)(0,1)。
主要特点：
- 可直接表示概率，常用于二分类输出层。
- 输出非零中心，隐藏层中可能带来优化困难。
- 当输入绝对值较大时进入饱和区，梯度趋近于 0。
因此，Sigmoid 现在很少作为深层网络隐藏层激活函数，主要保留在二分类、多标签分类等输出层场景。
3.2 Tanh
Tanh 输出范围为 (−1,1)(-1,1)(−1,1)。
相比 Sigmoid，Tanh 的输出以 0 为中心，训练稳定性通常更好。但它仍然存在明显的饱和区，输入绝对值较大时导数趋近于 0，因此也不适合现代深层网络的隐藏层主干。
3.3 HardTanh
HardTanh 是 Tanh 的分段线性截断近似：输入小于下限时输出下限，输入大于上限时输出上限，中间区间线性输出。
它的优势是计算简单、部署友好；缺点是截断区间外梯度为 0，仍然存在饱和问题。
3.4 HardSigmoid
HardSigmoid 是 Sigmoid 的线性近似版本，通过分段线性函数模拟 Sigmoid 的归一化效果。
它避免了指数运算，计算成本低，适合移动端、嵌入式和量化部署场景。
3.5 Softsign
f(x)=x1+∣x∣ f(x)=\frac{x}{1+|x|} f(x)=1+∣x∣x
输出范围为 (−1,1)(-1,1)(−1,1)。
Softsign 相比 Tanh 在远离原点时梯度衰减更缓，但仍无法从根本上消除梯度饱和问题。
四、无界激活函数
无界激活函数在现代深度学习中更常用于隐藏层。需要注意的是，它们训练表现更好，主要原因通常来自导数特性、分段线性或平滑非线性设计，而不是"无界"这个属性本身。
梯度消失的本质是链式求导过程中导数不断趋近于 0，并不完全由输出是否有界决定。
4.1 ReLU
f(x)=max(0,x) f(x)=\max(0,x) f(x)=max(0,x)
优点：
- 计算极简。
- 正半轴导数恒为 1，不会因激活函数本身在正区间引入梯度衰减。
- 曾推动深层 CNN 的快速发展。
缺点：
- 负半轴输出恒为 0，梯度也恒为 0。
- 若神经元长期落入负区间，可能出现 Dead ReLU 问题。
Dead ReLU 通常由参数更新使神经元长期落入负半轴导致，常与初始化、学习率过大、数据分布偏移或 Batch 统计变化有关，并不是 ReLU 在任何训练中都会必然产生的问题。
4.2 Leaky ReLU
Leaky ReLU 在负半轴保留一个较小斜率：
f(x)={x,x≥0αx,x<0 f(x)= \begin{cases} x, & x \ge 0 \\ \alpha x, & x < 0 \end{cases} f(x)={x,αx,x≥0x<0
常见 α=0.01\alpha=0.01α=0.01。
它能缓解 Dead ReLU 问题，但当 α\alphaα 很小时，负半轴梯度仍然较弱。
4.3 PReLU
PReLU 将 Leaky ReLU 中的负半轴斜率 α\alphaα 设为可学习参数。它可以按通道学习，也可以全局共享。
PReLU 具备更强的自适应表达能力，但会引入额外参数，在小数据集或部署敏感场景中未必总是优于 Leaky ReLU 或 ReLU。
4.4 ELU
ELU 在负半轴使用指数函数映射：
f(x)={x,x>0α(ex−1),x≤0 f(x)= \begin{cases} x, & x > 0 \\ \alpha(e^x-1), & x \le 0 \end{cases} f(x)={x,α(ex−1),x>0x≤0
ELU 保留负激活，使输出均值更接近 0，从而一定程度缓解偏置偏移（bias shift）。但当输入趋近负无穷时，输出趋近于 −α-\alpha−α，导数趋近于 0，负半轴仍存在梯度衰减。
4.5 SELU
SELU 是为自归一化网络设计的激活函数，通常需要满足特定条件，例如 LeCun Normal 初始化、AlphaDropout，以及较接近前馈全连接网络的结构假设。
在这些条件下，SELU 可以帮助激活分布保持稳定。但在主流 CNN 和 Transformer 中，BatchNorm 或 LayerNorm 已经成为常规组件，SELU 的优势往往无法充分体现。
4.6 SiLU / Swish
f(x)=x⋅σ(x)=x1+e−x f(x)=x\cdot\sigma(x)=\frac{x}{1+e^{-x}} f(x)=x⋅σ(x)=1+e−xx
Swish 的通用形式为：
f(x)=x⋅σ(βx) f(x)=x\cdot\sigma(\beta x) f(x)=x⋅σ(βx)
当 β=1\beta=1β=1 时即为 SiLU。
特点：
- 连续、平滑、非单调。
- 在负半轴保留弱梯度，缓解 ReLU 的硬截断问题。
- 导数连续，整个定义域内梯度变化更平滑，优化过程通常比 ReLU 的硬拐点更平稳。
- 下有界、上无界。
- 常用于 EfficientNet、YOLO 系列、部分轻量化 CNN 等模型。
4.7 GELU
f(x)=x⋅Φ(x) f(x)=x\cdot\Phi(x) f(x)=x⋅Φ(x)
常用近似形式：
f(x)≈0.5x(1+tanh(2/π(x+0.044715x3))) f(x)\approx 0.5x\left(1+\tanh\left(\sqrt{2/\pi}(x+0.044715x^3)\right)\right) f(x)≈0.5x(1+tanh(2/π (x+0.044715x3)))
其中 Φ(x)\Phi(x)Φ(x) 为标准高斯分布的累积分布函数（CDF）。
GELU 可以理解为依据输入大小进行连续门控，其门控权重由标准正态分布的累积分布函数决定，因此常被称为概率门控。严格来说，这里的 Φ(x)\Phi(x)Φ(x) 是确定性的门控权重，不是在训练时随机采样的概率。它在负半轴没有 ReLU 那样的硬截断，正半轴导数趋近于 1，因此适合高维连续特征建模。
GELU 是 BERT、GPT-2、ViT 等经典 Transformer 架构中的常见激活函数。现代大语言模型则更多采用 SwiGLU、GEGLU 等门控结构。
4.8 Mish
f(x)=x⋅tanh(softplus(x)) f(x)=x\cdot\tanh(\operatorname{softplus}(x)) f(x)=x⋅tanh(softplus(x))
Mish 平滑、非单调，在部分视觉任务中曾取得较好效果，但计算成本高于 ReLU 和 SiLU，硬件部署支持也不如 SiLU 普遍。因此它并未成为工业主流默认选型。
五、有界与无界激活函数的本质区别
| 对比维度 | 有界激活 | 无界激活 |
|---|---|---|
| 输出范围 | 固定有限区间 | 至少一侧无固定有限界 |
| 梯度饱和风险 | Sigmoid、Tanh 等典型函数较高 | 通常较低，但不能完全避免 |
| 深层网络训练 | 隐藏层中通常较难训练 | 更适合深层网络 |
| 数值稳定性 | 输出范围可控 | 可能存在较大动态范围 |
| 量化部署 | 通常更友好 | 取决于分布、离群值和硬件支持 |
| 常见用途 | 输出层、轻量化约束场景 | 现代 CNN、Transformer 隐藏层 |
有界激活和无界激活没有绝对优劣。前者更强调输出稳定性和部署友好性，后者通常更强调训练优化效率。
六、现代深度网络为何偏好无界激活
Sigmoid、Tanh 等有界激活的主要问题不是"输出范围有限"，而是它们在输入绝对值较大时会进入饱和区，导数快速趋近于 0。多层网络堆叠后，梯度会被不断衰减，最终导致训练停滞。
ReLU、SiLU、GELU 等激活函数在更大的输入范围内保留有效梯度，因此更容易训练深层网络。
不过，深度网络训练稳定性并不只依赖激活函数，还依赖：
- 残差连接；
- BatchNorm、LayerNorm 等归一化层；
- 合理的权重初始化；
- 优化器与学习率调度；
- 网络结构本身。
从万能逼近理论角度看，在满足相关理论条件时，多数常见非多项式激活函数都具备通用逼近能力。它们的主要差异更多体现在训练效率、收敛稳定性和部署成本，而不是理论表达能力上限。
七、输出层激活函数选用准则
输出层激活函数应由任务语义决定。
| 任务类型 | 常见输出层 | 说明 |
|---|---|---|
| 二分类 | Sigmoid | 输出单个类别的概率 |
| 多标签分类 | Sigmoid | 每个类别独立输出概率 |
| 多分类 | Softmax | 输出类别概率分布，概率和为 1 |
| 通用回归 | Linear | 不对输出范围做额外约束 |
| 有物理上下限的回归 | Sigmoid / Tanh / Clamp 等 | 根据目标范围约束输出 |
Softmax 严格来说不是普通逐元素激活函数，而是面向输出层的全局归一化算子。它依赖整个向量完成概率归一化，因此通常不作为隐藏层激活函数使用。
八、工业量化部署逻辑
模型量化，尤其 INT8 量化，是边缘部署中的重要手段。激活函数的输出范围、动态分布、离群值和硬件算子支持都会影响量化效果。
8.1 有界激活的部署优势
有界激活更容易限制动态范围，在许多 PTQ 场景下更容易得到稳定量化效果。例如 ReLU6 的固定输出范围 0,60,60,6 能降低校准难度，因此常用于移动端轻量化模型。ReLU6 最初主要用于 MobileNet 系列等移动端网络，其设计目标之一就是在低精度计算和量化部署中限制激活动态范围，提高量化稳定性。
但不能简单认为"有界激活一定量化好，无界激活一定量化差"。真实效果还取决于：
- 激活分布；
- 离群值比例；
- per-tensor 或 per-channel 量化策略；
- 校准数据质量；
- 推理框架和硬件后端支持。
8.2 无界激活的量化挑战
ReLU、SiLU、GELU 等无界激活可能带来更大的动态范围。若少量离群值拉大量化尺度，正常密集区域的 INT8 分辨率会下降，从而引发精度损失。
此外，SiLU、GELU、Mish 等包含 sigmoid、tanh、exp 或 softplus 等复杂计算，部分低端 NPU 未必能原生高效支持，可能需要查表近似或回退到 CPU 执行。
因此在资源受限的边缘设备上，工程中常将 SiLU、GELU 替换为 ReLU6、HardSwish 等更易部署的激活函数。随着推理框架的发展，越来越多后端已提供 SiLU、GELU 等激活函数的融合算子，因此是否需要替换为 ReLU6 或 HardSwish，应结合目标硬件、推理框架支持情况和量化测试结果评估。
8.3 PTQ 与 QAT
| 量化方案 | 全称 | 特点 | 适用场景 |
|---|---|---|---|
| PTQ | Post-Training Quantization | 训练后量化，无需重新训练，落地成本低 | 常规检测、分类、识别任务 |
| QAT | Quantization-Aware Training | 训练中模拟量化误差，精度保持更好 | 高精度敏感任务、低比特部署 |
QAT 并不是只对有界激活有效。它的核心是让模型在训练阶段适应量化噪声，因此也可用于 SiLU、GELU 等无界激活的量化部署。
九、激活函数发展趋势与认知误区
| 阶段 | 主流激活函数 | 主要特点 |
|---|---|---|
| 早期浅层网络 | Sigmoid | 可输出概率，但梯度饱和严重 |
| 传统 RNN / 早期网络 | Tanh | 零中心输出，但仍易饱和 |
| 深层 CNN 兴起 | ReLU | 计算简单，显著缓解深层网络训练困难 |
| 移动端 CNN | ReLU6 / HardSwish | 更关注低精度计算和边缘部署 |
| 经典 Transformer | GELU | 平滑概率门控，适配高维连续特征 |
| 现代 CNN | SiLU / Swish | 平滑、非单调，兼顾训练表现 |
| 现代 LLM | SwiGLU / GEGLU | 门控 FFN 结构，提升参数利用率和表达能力 |
9.1 现代 LLM 从 GELU 转向 SwiGLU 的原因
SwiGLU 不是单纯的逐元素激活函数，而是门控线性结构：
SwiGLU(x)=Swish(W1x)⊙(W2x) \operatorname{SwiGLU}(x)=\operatorname{Swish}(W_1x)\odot(W_2x) SwiGLU(x)=Swish(W1x)⊙(W2x)
相比单分支 GELU，SwiGLU 引入门控分支和线性分支，通过逐元素乘法实现特征筛选和信息保留。它通常具备更强的表达能力和更好的参数利用效率，因此被许多现代大语言模型采用。
9.2 不要神化新激活函数
激活函数通常只能带来有限增益。模型效果更大程度上取决于数据质量、网络结构、优化器、学习率、归一化方式、损失函数和训练策略。
Mish 并不一定优于 SiLU，SiLU 也不一定优于 ReLU。工程选型应综合考虑训练精度、推理速度、算子支持、量化部署和维护成本。
9.3 激活函数与归一化层的关系
激活函数负责引入非线性，归一化层负责稳定特征分布和梯度传播。二者功能不同，不能简单相互替代。
常见结构：
- CNN：卷积层 → BatchNorm → 激活函数；
- Transformer：经典 FFN 常见 Linear → GELU → Linear；现代大语言模型更多采用 Linear → SwiGLU 或 GEGLU → Linear 的门控结构，并配合 LayerNorm 或 RMSNorm 稳定训练；
- 自归一化网络：SELU 通常搭配 AlphaDropout，不宜随意叠加 BatchNorm 或 LayerNorm。
十、工程选型参考
| 应用场景 | 推荐激活函数 | 选型依据 |
|---|---|---|
| 通用 CNN 训练 | ReLU / SiLU | ReLU 高效稳定，SiLU 更平滑 |
| 高精度视觉模型 | SiLU / GELU | 平滑梯度，训练表现好 |
| 边缘量化部署 | ReLU6 / HardSwish | ReLU6 动态范围固定；HardSwish 计算更简单，硬件适配较好 |
| 经典 Transformer / ViT | GELU | 经典预训练架构常用 |
| 现代 LLM | SwiGLU / GEGLU | 门控结构，适合大模型 FFN |
| 二分类输出层 | Sigmoid | 输出 0∼10 \sim 10∼1 概率 |
| 多分类输出层 | Softmax | 输出归一化类别分布 |
| 通用回归输出层 | Linear | 避免不必要的范围截断 |
| 有范围约束的回归 | Sigmoid / Tanh | 与目标物理范围匹配 |
十一、主流激活函数特性总表
| 激活函数 | 有界 | 连续 | 平滑 | 单调 | 主要风险 | 量化友好性 | 常见场景 |
|---|---|---|---|---|---|---|---|
| Sigmoid | 是 | 是 | 是 | 是 | 梯度饱和 | 高 | 二分类、多标签输出层 |
| Tanh | 是 | 是 | 是 | 是 | 梯度饱和 | 较高 | 少量传统 RNN |
| HardSigmoid | 是 | 是 | 否 | 是 | 截断饱和 | 高 | 移动端近似算子 |
| HardTanh | 是 | 是 | 否 | 是 | 截断饱和 | 高 | 轻量化约束场景 |
| Softsign | 是 | 是 | 除 0 点外分段平滑 | 是 | 渐进饱和 | 中 | 少量替代实验 |
| ReLU | 否 | 是 | 否 | 是 | Dead ReLU | 较高 | ResNet、传统 CNN |
| ReLU6 | 是 | 是 | 否 | 是 | 截断饱和、Dead ReLU | 很高 | MobileNetV2、边缘部署 |
| Leaky ReLU | 否 | 是 | 否 | 是 | 负半轴梯度较弱 | 较高 | 轻量化 CNN、检测模型 |
| PReLU | 否 | 是 | 否 | 取决于参数 | 额外参数、过拟合 | 较高 | 部分 CNN |
| ELU | 否 | 是 | 是 | 是 | 负半轴梯度衰减 | 中 | 少量视觉模型 |
| SELU | 否 | 是 | 是 | 是 | 使用条件严格 | 中 | 自归一化网络 |
| SiLU / Swish | 否 | 是 | 是 | 否 | 负半轴轻微衰减 | 中 | YOLO、EfficientNet |
| GELU | 否 | 是 | 是 | 否 | 负半轴轻微衰减 | 中 | BERT、ViT、经典 Transformer |
| Mish | 否 | 是 | 是 | 否 | 计算成本较高 | 较低 | 小众高精度视觉任务 |
| HardSwish | 否 | 是 | 分段光滑 | 否 | 正半轴无界 | 高 | MobileNetV3、边缘部署 |
| SwiGLU / GEGLU | 否 | 是 | 通常平滑 | 否 | 结构成本更高 | 中 | 现代大语言模型 |
十二、核心结论
- 有界/无界的分类依据是输出值域，不是连续性、平滑性或单调性。
- Sigmoid、Tanh 在隐藏层中被淘汰，核心原因是梯度饱和，而不是有界本身。
- ReLU、SiLU、GELU 等在深层网络中表现更好，主要来自更有利的梯度传播特性。
- SiLU、GELU、Mish、HardSwish 都不是双向无界，而是下有界、上无界。
- 输出层激活函数应由任务语义决定：分类重概率，回归重数值范围。
- 量化部署没有绝对规则，应以硬件算子支持、校准数据和实测精度为准。
- 激活函数不存在万能最优选型，工程上应在训练效果、推理速度、量化友好性和硬件兼容性之间权衡。
十三、一图速览
| 激活函数 | 有界 | 梯度特性 | 平滑性 | 主流场景 |
|---|---|---|---|---|
| Sigmoid | 是 | 易饱和 | 平滑 | 输出层 |
| Tanh | 是 | 易饱和 | 平滑 | 少量传统 RNN |
| ReLU | 否 | 正区间导数恒为 1，负区间为 0 | 非平滑 | CNN |
| SiLU | 否 | 连续梯度，负半轴保留弱信息 | 平滑 | YOLO、EfficientNet |
| GELU | 否 | 连续门控，正区间梯度趋近 1 | 平滑 | 经典 Transformer |
| HardSwish | 否 | 分段连续，部署友好 | 分段光滑 | MobileNet |
| SwiGLU | 否 | 门控乘法结构 | 通常平滑 | 现代 LLM |
一句话总结：有界激活更强调输出稳定与部署约束，无界激活通常更强调隐藏层训练优化；深度学习中的激活函数选型，本质是训练性能、表达效率、硬件兼容性与部署成本之间的工程权衡。