七、门控循环单元语言模型(GRU)

门控循环单元(Gated Recurrent Unit,GRU)是 LSTM 的一个稍微简化的变体,通常能够提供同等的效果,并且计算训练的速度更快。

门控循环单元原理图:参考门控循环单元

原理图中各个图形含义:

  • X(t):表示当前时刻输入的信息(假设输入的样本个数为 n,输入个数为 d)
  • H(t-1):表示上一时刻的隐藏状态。隐藏状态充当了神经网络的记忆,包含之前节点数据信息的综合(假设上一个时间步的隐状态的单元个数为 h)
  • H(t):表示传递到下一时刻的隐藏状态。
  • H'(t):表示候选隐藏状态(candidate hidden state)。
  • R(t):表示重置门(reset gate),允许我们控制"可能还想记住"的过去状态的数量。
  • Z(t):表示更新门(update gate),允许我们控制新状态中有多少个是旧状态的副本。
  • σ:激活函数 sigmoid,可以将数据变为 (0, 1) 范围的数值。
  • tanh:激活函数 tanh,可以将数据变为 (-1, 1) 范围的数值。
  • W(xr) 和 W(xz) 是维度为 d×h 的权重参数,W(hr) 和 W(hz) 是维度为 h×h 的是权重参数,W(xh) 是维度为 d×h 的权重参数, W(hh) 是维度为 h×h 的是权重参数
  • b(r)、b(z)、b(h) 是维度为 1×h 的偏置参数。

重置门和更新门的计算公式如下:

候选隐状态的计算公式如下:

下一时刻的隐藏状态公式如下:

  • 重置门有助于捕获序列中的短期依赖关系;

  • 更新门有助于捕获序列中的长期依赖关系。

参考一文人人都能看懂的GRU

相关推荐
寒月霜华20 小时前
机器学习-模型验证
人工智能·深度学习·机器学习
救救孩子把21 小时前
3-机器学习与大模型开发数学教程-第0章 预备知识-0-3 函数初步(多项式、指数、对数、三角函数、反函数)
人工智能·数学·机器学习
CareyWYR21 小时前
每周AI论文速递(250908-250912)
人工智能
张晓~1833994812121 小时前
短视频矩阵源码-视频剪辑+AI智能体开发接入技术分享
c语言·c++·人工智能·矩阵·c#·php·音视频
deephub21 小时前
量子机器学习入门:三种数据编码方法对比与应用
人工智能·机器学习·量子计算·数据编码·量子机器学习
AI 嗯啦21 小时前
计算机视觉----opencv实战----指纹识别的案例
人工智能·opencv·计算机视觉
max50060021 小时前
基于多元线性回归、随机森林与神经网络的农作物元素含量预测及SHAP贡献量分析
人工智能·python·深度学习·神经网络·随机森林·线性回归·transformer
trsoliu21 小时前
前端基于 TypeScript 使用 Mastra 来开发一个 AI 应用 / AI 代理(Agent)
前端·人工智能
白掰虾1 天前
STM32N6&AI资料汇总
人工智能·stm32·嵌入式硬件·stm32n6·stm32ai
爱思德学术1 天前
中国计算机学会(CCF)推荐学术会议-C(软件工程/系统软件/程序设计语言):MSR 2026
人工智能·机器学习·软件工程·数据科学