【NLP 37、激活函数 ③ relu激活函数】

------ 25.2.23

ReLU广泛应用于卷积神经网络(CNN)和全连接网络,尤其在图像分类(如ImageNet)、语音识别等领域表现优异。其高效性和非线性特性使其成为深度学习默认激活函数的首选

一、定义与数学表达式

ReLU(Rectified Linear Unit,修正线性单元)是一种分段线性激活函数,

其数学表达式为:ReLU(x)=max(0,x)

即当输入 x 大于 0 时,输出为 x;当 x≤0 时,输出为 0。


二、核心特点

非线性特性:通过引入分段线性特性,ReLU为神经网络引入非线性,使其能拟合复杂函数。

计算高效:仅通过阈值判断(x>0)即可完成计算,避免了指数运算(如Sigmoid、Tanh),显著提升速度。

缓解梯度消失:在 x>0 时梯度恒为 1,反向传播时梯度不会饱和,加速收敛。

稀疏激活性:负输入时输出为 0,导致部分神经元"休眠",减少参数依赖和过拟合风险。


三、优点

简单高效:实现和计算成本低,适合深度网络。

收敛速度快:相比Sigmoid/Tanh,ReLU在训练中梯度更稳定,收敛更快。

非零中心性:输出范围为 [0,+∞),虽非严格零中心,但简化了优化过程


四、局限性

Dead ReLU问题:若神经元输入长期为负,梯度恒为 0,导致权重无法更新,神经元"死亡"。

非零中心性:输出偏向非负值,可能影响梯度下降效率。

对初始化敏感:若学习率过高,负输入区域可能使神经元永久失效。


五、变体

Leaky ReLU:允许负输入时输出 αx(α为小常数,如0.01)。

PReLU(Parametric ReLU):将 α 设为可学习参数,动态调整负区斜率。

ELU(Exponential Linear Unit):负输入时输出 α(ex−1),使输出均值接近零。

Swish:自门控激活函数,结合ReLU和Sigmoid特性,平滑且无上界。


六、代码示例

1.通过 nn.ReLU() 作为网络层

**nn.ReLU() :**PyTorch 中的修正线性单元(ReLU)激活函数模块,用于神经网络中引入非线性。其功能是将输入张量中所有负值置为 0,保留正值不变

参数名称 类型 是否必填 说明
inplace bool 是否原地操作(直接修改输入张量)。
默认值为 False,此时会返回新张量。若设为 True,则直接在原张量上操作。
python 复制代码
import torch
import torch.nn as nn
import torch.optim as optim

# 定义一个简单的网络,包含两个线性层和 ReLU 激活
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(784, 256)  # 输入层:784 → 256
        self.relu = nn.ReLU()           # ReLU 激活层
        self.fc2 = nn.Linear(256, 10)   # 输出层:256 → 10(如分类任务)

    def forward(self, x):
        x = self.relu(self.fc1(x))  # 在第一层后应用 ReLU
        x = self.fc2(x)
        return x

# 初始化网络、损失函数和优化器
model = Net()
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01)

# 输入数据示例(如 MNIST 图像,形状为 [batch_size, 784])
input_data = torch.randn(32, 784)

# 前向传播
output = model(input_data)
print(output.shape)  # 输出形状: (32, 10)

2. 直接使用 torch.relu() 函数

torch.relu(): PyTorch 中实现修正线性单元(ReLU)激活函数的函数

其数学表达式为:ReLU(x)=max(0,x)

参数名称 类型 是否必填 说明
inplace bool 是否原地修改输入张量。若为 True,则直接修改输入张量以节省内存;若为 False(默认),则返回新张量。
python 复制代码
import torch

# 示例输入
x = torch.tensor([-1.0, 0.0, 1.0])

# 应用 ReLU 函数(非原地)
y = torch.relu(x)
print(y)  # 输出: tensor([0., 0., 1.])

# 应用 ReLU 函数(原地)
torch.relu_(x)
print(x)  # 输出: tensor([0., 0., 1.]),原始张量被修改[1,7](@ref)。
相关推荐
昨日之日20061 小时前
Wan2.2-S2V - 音频驱动图像生成电影级质量的数字人视频 ComfyUI工作流 支持50系显卡 一键整合包下载
人工智能·音视频
SEO_juper4 小时前
大型语言模型SEO(LLM SEO)完全手册:驾驭搜索新范式
人工智能·语言模型·自然语言处理·chatgpt·llm·seo·数字营销
攻城狮7号5 小时前
腾讯混元翻译模型Hunyuan-MT-7B开源,先前拿了30个冠军
人工智能·hunyuan-mt-7b·腾讯混元翻译模型·30个冠军
zezexihaha5 小时前
从“帮写文案”到“管生活”:个人AI工具的边界在哪?
人工智能
算家云5 小时前
nano banana官方最强Prompt模板来了!六大场景模板详解
人工智能·谷歌·ai大模型·算家云·ai生图·租算力,到算家云·nano banana 提示词
暴躁的大熊5 小时前
AI助力决策:告别生活与工作中的纠结,明析抉择引领明智选择
人工智能
Gyoku Mint5 小时前
提示词工程(Prompt Engineering)的崛起——为什么“会写Prompt”成了新技能?
人工智能·pytorch·深度学习·神经网络·语言模型·自然语言处理·nlp
梁小憨憨5 小时前
zotero扩容
人工智能·笔记
大数据张老师5 小时前
AI架构师的思维方式与架构设计原则
人工智能·架构师·ai架构·后端架构
AKAMAI5 小时前
Entity Digital Sports 降低成本并快速扩展
人工智能·云计算