神经网络常见激活函数 4-LeakyReLU函数

LeakyReLU

  • LeakyReLU: Leaky Rectified Linear Unit

函数+导函数

  • LeakyReLU函数
    L e a k y R e L U = { x x > = 0 p x x < 0 p ∈ ( 0 , 1 ) \rm Leaky{ReLU} = \left\{ \begin{array}{} x \quad x>=0 \\ px \quad x<0 \end{array} \right. \quad p \in (0,1) LeakyReLU={xx>=0pxx<0p∈(0,1)

  • LeakyReLU函数导数
    d d x L e a k y R e L U = { 1 x ≥ 1 p x < 0 p ∈ ( 0 , 1 ) \frac{d}{dx} \rm LeakyReLU = \left\{ \begin{array}{} 1 \quad x \ge1 \\ p \quad x < 0 \end{array} \right. \quad p \in (0,1) dxdLeakyReLU={1x≥1px<0p∈(0,1)

    它和 ReLU 函数的不同之处在于,当 x 小于零时,LeakyReLU 函数的导数值并不为 0,而 是常数𝑝,p 一般设置为某较小的数值,如 0.01 或 0.02


函数和导函数图像

  • 画图

    下面是的 p = 0.5 p=0.5 p=0.5 时候的情况,请注意,p 一般设置为较小值。

    python 复制代码
    import numpy as np
    from matplotlib import pyplot as plt
    
    # 定义 PReLU 函数
    def prelu(x, alpha=0.25):
        return np.where(x < 0, alpha * x, x)
    
    # 定义 PReLU 的导数
    def prelu_derivative(x, alpha=0.25):
        d = np.where(x < 0, alpha, 1)
        return d
    
    # 生成数据
    x = np.linspace(-2, 2, 1000)
    alpha = 0.5  # 可以调整 alpha 的值
    y = prelu(x, alpha)
    y1 = prelu_derivative(x, alpha)
    
    # 绘制图形
    plt.figure(figsize=(12, 8))
    ax = plt.gca()
    plt.plot(x, y, label='PReLU')
    plt.plot(x, y1, label='Derivative')
    plt.title(f'PReLU (alpha={alpha}) and Partial Derivative')
    
    # 设置上边和右边无边框
    ax.spines['right'].set_color('none')
    ax.spines['top'].set_color('none')
    
    # 设置 x 坐标刻度数字或名称的位置
    ax.xaxis.set_ticks_position('bottom')
    
    # 设置边框位置
    ax.spines['bottom'].set_position(('data', 0))
    ax.yaxis.set_ticks_position('left')
    ax.spines['left'].set_position(('data', 0))
    
    plt.legend(loc=2)
    plt.show()

    LeakyReLU 函数有效的克服了 ReLU 函数的缺陷,使用也比较广泛。


优缺点

  • Leaky Relu 的优点(相对 ReLU的改进)

    1. 与 ReLU 函数相比,Leaky ReLU 通过在负半轴引入一个小的线性分量(如 0.01x)来调整负值的梯度问题;这有助于扩大 ReLU 函数的范围,通常斜率 p 的值为 0.01 左右;函数范围是负无穷到正无穷。
    2. Leaky ReLU 激活函数通过在负半轴添加一个小的正斜率(如 0.01),使得负轴的信息不会全部丢失。通过这种方式,Leaky ReLU 激活函数可以确保模型训练过程中神经元的权重在输入小于 0 的情况下依然会得到更新。
    3. 不会出现 Dead ReLU 问题,但关于输入函数 f(x)的部分仍然容易出现梯度爆炸的情况,因此必要时可以搭配 Sigmoid 或 Tanh 使用。
  • Leaky Relu 的缺点

    1. 经典(以及广泛使用的)ReLU 激活函数的变体,带泄露修正线性单元(Leaky ReLU)的输出对负值输入有很小的坡度。由于导数总是不为零,这能减少静默神经元的出现,允许基于梯度的学习(虽然会很慢)。
    2. 从理论上讲,Leaky ReLU 具有 ReLU 的所有优点,而且 Dead ReLU 不会有任何问题,但在实际应用中,尚未完全证明 Leaky ReLU 总是比 ReLU 更好。

pytorch中的LeakyReLU函数

  • 代码

    python 复制代码
    import torch
    
    x = torch.randn(2)
    f = torch.nn.LeakyReLU(negative_slope=0.1) # negative_slope是个常数,即负值部分的斜率
    
    leakyRelu_x = f(x)
    
    print(f"x: \n{x}")
    print(f"leakyRelu_x:\n{leakyRelu_x}")
    
    """输出"""
    x: 
    tensor([-1.7098,  0.3351])
    leakyRelu_x:
    tensor([-0.1710,  0.3351])

    为了便于演示,这里的 p设置成了0.1,即代码中的negative_slope,我们可以看到输出,当x小于0 的时候,leakyRelu_x的结果被乘以0.1。


tensorflow 中的LeakyReLU函数

  • 代码

    python: 3.10.9

    tensorflow: 2.18.0

    python 复制代码
    import tensorflow as tf
    
    
    alpha = 0.1  # 定义 LeakyReLU 函数,alpha 是负值部分的斜率
    f = lambda x: tf.nn.leaky_relu(x, alpha=alpha)
    
    
    x = tf.random.normal([2])
    leaky_relu_x = f(x)
    
    print(f"x: \n{x}")
    print(f"leaky_relu_x:\n{leaky_relu_x}")
    
    """输出"""
    x: 
    [-0.733668    0.06844683]
    leaky_relu_x:
    [-0.07336681  0.06844683]

    同上,这里的 p设置成了0.1,即代码中的alpha,我们可以看到输出,当x小于0 的时候,leakyRelu_x的结果被乘以0.1。


相关推荐
想要成为计算机高手1 小时前
11. isaacsim4.2教程-Transform 树与Odometry
人工智能·机器人·自动驾驶·ros·rviz·isaac sim·仿真环境
NeoFii1 小时前
Day 22: 复习
机器学习
静心问道2 小时前
InstructBLIP:通过指令微调迈向通用视觉-语言模型
人工智能·多模态·ai技术应用
宇称不守恒4.02 小时前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
小楓12012 小时前
醫護行業在未來會被AI淘汰嗎?
人工智能·醫療·護理·職業
数据与人工智能律师3 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
chenchihwen3 小时前
大模型应用班-第2课 DeepSeek使用与提示词工程课程重点 学习ollama 安装 用deepseek-r1:1.5b 分析PDF 内容
人工智能·学习
说私域3 小时前
公域流量向私域流量转化策略研究——基于开源AI智能客服、AI智能名片与S2B2C商城小程序的融合应用
人工智能·小程序
Java樱木3 小时前
AI 编程工具 Trae 重要的升级。。。
人工智能
码字的字节3 小时前
深度学习损失函数的设计哲学:从交叉熵到Huber损失的深入探索
深度学习·交叉熵·huber