ReLU 新生:从死亡困境到强势回归

背景

在深度学习领域,激活函数的探索已成为独立研究课题。诸如 GELU、SELU 和 SiLU 等新型激活函数,因具备平滑梯度与出色的收敛特性,正备受关注。经典 ReLU 凭借简洁性、固有稀疏性及其独特优势拓扑特性,依旧受青睐。然而,ReLU 网络存在重大缺陷 ------"死亡 ReLU 问题"。一旦神经元在训练中输出恒为 0,其梯度也为 0,致使神经元无法恢复,制约网络效能。为应对这一问题,LeakyReLU、PReLU、GELU、SELU、SiLU/Swish 和 ELU 等改进函数涌现。它们通过引入负预激活值的非零激活,提供不同权衡。

近期,德国吕贝克大学等机构研究者提出新型方法 SUGAR(Surrogate Gradient for ReLU),在保留 ReLU 优势的同时解决其局限性。SUGAR 于前向传播使用标准 ReLU,反向传播时以非零、连续的替代梯度函数替换 ReLU 导数,使 ReLU 能保持原始前向行为,避免梯度消失,激活死神经元。基于此,研究者设计出两种新型替代梯度函数:B-SiLU(Bounded SiLU)和 NeLU(Negative slope Linear Unit),可无缝融入多种模型。

公式推导

FGI是一种分离前向和反向梯度的操作,一般可以设计成如下方程,前向是显而易见的,主要考虑反向梯度

y = g ( x ) − s g ( g ( x ) ) + s g ( f ( x ) ) ∂ y ∂ x = ∂ ∂ x ( g ( x ) − s g ( g ( x ) ) + s g ( f ( x ) ) ) = ∂ g ( x ) ∂ x − s g ( g ( x ) ) ∂ g ( x ) ∂ g ( x ) ∂ x + ∂ s g ( f ( x ) ) ∂ f ( x ) ∂ f ( x ) ∂ x = ∂ g ( x ) ∂ x y = g(x) − sg(g(x)) + sg(f(x)) \\ \frac{∂y}{∂x} = \frac{∂}{∂x}(g(x)-sg(g(x)) + sg(f(x))) \\ =\frac{∂g(x)}{∂x} - \frac{sg(g(x))}{∂g(x)}\frac{∂g(x)}{∂x} + \frac{∂sg(f(x))}{∂f(x)}\frac{∂f(x)}{∂x} \\ =\frac{∂g(x)}{∂x} y=g(x)−sg(g(x))+sg(f(x))∂x∂y=∂x∂(g(x)−sg(g(x))+sg(f(x)))=∂x∂g(x)−∂g(x)sg(g(x))∂x∂g(x)+∂f(x)∂sg(f(x))∂x∂f(x)=∂x∂g(x)

这样的方式有个缺陷,就是反向传播时依然需要对g(x)进行autodiff求导,效率低下,所以一般会直接提供g(x)的导数函数,以乘法的形式融入公式,根据这个思路可以设计如下方程

h = x ⋅ s g ( g ′ ( x ) ) y = h − s g ( h ) + s g ( f ( x ) ) ∂ y ∂ x = ∂ ∂ x ( h − s g ( h ) + s g ( f ( x ) ) ) = ∂ ∂ x ( x ∗ s g ( g ′ ( x ) ) ) − ∂ s g ( h ) ∂ h ∂ h ∂ x + s g ( f ( x ) ) ∂ f ( x ) f ( x ) x = ∂ g ( x ) ∂ x h = x · sg(g^{'}(x)) \\ y = h - sg(h) + sg(f(x)) \\ \frac{∂y}{∂x} = \frac{∂}{∂x}(h - sg(h) + sg(f(x))) \\ = \frac{∂}{∂x}(x * sg(g^{'}(x))) - \frac{∂sg(h)}{∂h}\frac{∂h}{∂x} + \frac{sg(f(x))}{∂f(x)} \frac{f(x)}{x} \\ = \frac{∂g(x)}{∂x} h=x⋅sg(g′(x))y=h−sg(h)+sg(f(x))∂x∂y=∂x∂(h−sg(h)+sg(f(x)))=∂x∂(x∗sg(g′(x)))−∂h∂sg(h)∂x∂h+∂f(x)sg(f(x))xf(x)=∂x∂g(x)

tensorflow2实现

python 复制代码
class BSiLU_SUGAR(tf.keras.layers.Layer):
    def __init__(self, alpha=1.67, **kwargs):
        super(BSiLU_SUGAR, self).__init__(**kwargs)
        self.alpha = alpha

    def call(self, x, training=None, **kwargs):
        fx = tf.nn.relu(x)
        sigmoid_forward = tf.nn.sigmoid(x)
        gx = sigmoid_forward + (x + self.alpha) * sigmoid_forward * (1 - sigmoid_forward)
        m = x * tf.stop_gradient(gx)
        y = m - tf.stop_gradient(m) + tf.stop_gradient(fx)
        return y

    def get_config(self):
        config = {
            'alpha': self.alpha
        }
        base_config = super(BSiLU_SUGAR, self).get_config()
        return dict(list(base_config.items()) + list(config.items()))

真实数据实验效果

数据 模型 loss auc uauc
自有数据 mlp+relu 0.0918 0.8242 0.735
自有数据 mlp+新激活函数 0.0916 0.8260 0.737

结论

  • 可能有一些效果,需要再其他数据集上进行更多测试得出综合结论

Reference

  1. https://mp.weixin.qq.com/s/b29WfOloGFIyh-j8EfV96A

  2. https://arxiv.org/pdf/2505.22074

  3. https://arxiv.org/pdf/2406.00177v1

相关推荐
白-胖-子7 分钟前
深入剖析大模型在文本生成式 AI 产品架构中的核心地位
人工智能·架构
想要成为计算机高手1 小时前
11. isaacsim4.2教程-Transform 树与Odometry
人工智能·机器人·自动驾驶·ros·rviz·isaac sim·仿真环境
静心问道2 小时前
InstructBLIP:通过指令微调迈向通用视觉-语言模型
人工智能·多模态·ai技术应用
宇称不守恒4.02 小时前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
小楓12013 小时前
醫護行業在未來會被AI淘汰嗎?
人工智能·醫療·護理·職業
数据与人工智能律师3 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
chenchihwen3 小时前
大模型应用班-第2课 DeepSeek使用与提示词工程课程重点 学习ollama 安装 用deepseek-r1:1.5b 分析PDF 内容
人工智能·学习
说私域3 小时前
公域流量向私域流量转化策略研究——基于开源AI智能客服、AI智能名片与S2B2C商城小程序的融合应用
人工智能·小程序
Java樱木3 小时前
AI 编程工具 Trae 重要的升级。。。
人工智能
凪卄12134 小时前
图像预处理 二
人工智能·python·深度学习·计算机视觉·pycharm