对gru的理解

GRU(Gated Recurrent Unit,门控循环单元)是一种循环神经网络(RNN)的变体,最早由Kyunghyun Cho等人在2014年提出。它是**LSTM(Long Short-Term Memory)**的简化版,旨在缓解标准RNN的梯度消失问题,同时减少计算开销。


1. GRU 结构

GRU的核心由两个门控制信息流动:

  • 更新门(Update Gate,z):决定当前时间步的隐藏状态有多少信息需要保留、多少信息来自新输入。
  • 重置门(Reset Gate,r):控制遗忘过去的信息,决定当前输入对隐藏状态的影响程度。

GRU的数学公式如下:

  1. 更新门

    z t = σ ( W z x t + U z h t − 1 + b z ) z_t = \sigma(W_z x_t + U_z h_{t-1} + b_z) zt=σ(Wzxt+Uzht−1+bz)

  2. 重置门
    r t = σ ( W r x t + U r h t − 1 + b r r_t = \sigma(W_r x_t + U_r h_{t-1} + b_r rt=σ(Wrxt+Urht−1+br

  3. 候选隐藏状态

    h ~ t = tanh ⁡ ( W h x t + U h ( r t ⊙ h t − 1 ) + b h ) \tilde{h}t = \tanh(W_h x_t + U_h (r_t \odot h{t-1}) + b_h) h~t=tanh(Whxt+Uh(rt⊙ht−1)+bh)

  4. 最终隐藏状态更新
    h t = ( 1 − z t ) ⊙ h t − 1 + z t ⊙ h ~ t h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_t ht=(1−zt)⊙ht−1+zt⊙h~t

其中:

  • σ \sigma σ 是sigmoid函数,确保门的输出在 (0,1) 之间。
  • ⊙ \odot ⊙ 代表逐元素乘法(Hadamard 乘积)
  • W W W 和 U U U 是可训练权重, b b b 是偏置项。

从公式我们可以看出, 在计算 h ~ t \tilde{h}_t h~t 的时候, r t rt rt(重置门) 越接近1则结果受到过去状态的影响越大, r t rt rt(重置门) 越接近0的时候,结果受到过去状态的影响越小。 这就是重置门的作用。用于控制遗忘过去的信息。

计算新的 h t h_t ht 的时候, 更新们 z t z_t zt 越接近1,结果受到 h ~ t \tilde{h}_t h~t (当前输入)影响大, 当 z t z_t zt 越接近0时, 结果受到 h t h_t ht(过去状态)影响大。所以这体现了更新门的作用:决定当前时间步的隐藏状态有多少信息需要保留、多少信息来自新输入。

相关推荐
斯普信专业组29 分钟前
Ubuntu系统深度学习环境配置全指南(下)
linux·深度学习·ubuntu
学Linux的语莫1 小时前
八大神经网络的区别
人工智能·深度学习·神经网络
别摸我的婴儿肥3 小时前
从0开始LLM-GPT-0
人工智能·深度学习
魔障阿Q3 小时前
华为310P3模型转换及python推理
人工智能·python·深度学习·yolo·计算机视觉·华为
CoovallyAIHub4 小时前
工业质检新突破!YOLO-pdd多尺度PCB缺陷检测算法实现99%高精度
深度学习·算法·计算机视觉
loopdeloop4 小时前
机器学习、深度学习与数据挖掘:核心技术差异、应用场景与工程实践指南
深度学习·机器学习·数据挖掘
loopdeloop4 小时前
机器学习、深度学习与数据挖掘:三大技术领域的深度解析
深度学习·机器学习·数据挖掘
呆头鹅AI工作室5 小时前
[2025CVPR-图象分类方向]CATANet:用于轻量级图像超分辨率的高效内容感知标记聚合
图像处理·人工智能·深度学习·目标检测·机器学习·计算机视觉·分类
向左转, 向右走ˉ5 小时前
为什么分类任务偏爱交叉熵?MSE 为何折戟?
人工智能·深度学习·算法·机器学习·分类·数据挖掘
zzywxc7877 小时前
编程算法在金融、医疗、教育、制造业的落地应用。
人工智能·深度学习·算法·机器学习·金融·架构·开源