七、门控循环单元语言模型(GRU)

门控循环单元(Gated Recurrent Unit,GRU)是 LSTM 的一个稍微简化的变体,通常能够提供同等的效果,并且计算训练的速度更快。

门控循环单元原理图:参考门控循环单元

原理图中各个图形含义:

  • X(t):表示当前时刻输入的信息(假设输入的样本个数为 n,输入个数为 d)
  • H(t-1):表示上一时刻的隐藏状态。隐藏状态充当了神经网络的记忆,包含之前节点数据信息的综合(假设上一个时间步的隐状态的单元个数为 h)
  • H(t):表示传递到下一时刻的隐藏状态。
  • H'(t):表示候选隐藏状态(candidate hidden state)。
  • R(t):表示重置门(reset gate),允许我们控制"可能还想记住"的过去状态的数量。
  • Z(t):表示更新门(update gate),允许我们控制新状态中有多少个是旧状态的副本。
  • σ:激活函数 sigmoid,可以将数据变为 (0, 1) 范围的数值。
  • tanh:激活函数 tanh,可以将数据变为 (-1, 1) 范围的数值。
  • W(xr) 和 W(xz) 是维度为 d×h 的权重参数,W(hr) 和 W(hz) 是维度为 h×h 的是权重参数,W(xh) 是维度为 d×h 的权重参数, W(hh) 是维度为 h×h 的是权重参数
  • b(r)、b(z)、b(h) 是维度为 1×h 的偏置参数。

重置门和更新门的计算公式如下:

候选隐状态的计算公式如下:

下一时刻的隐藏状态公式如下:

  • 重置门有助于捕获序列中的短期依赖关系;

  • 更新门有助于捕获序列中的长期依赖关系。

参考一文人人都能看懂的GRU

相关推荐
Be for thing41 分钟前
Pytorch【12】transforms进阶|图像数据增强实战,提升模型泛化能力
人工智能·pytorch·机器学习
十有八七43 分钟前
手搓 Agent(一):先有大脑——大模型只会做一件事
前端·人工智能·后端
锋行天下1 小时前
「踩坑实录」给 LangGraph Agent 接两个 FastMCP,我被 langchain 偷偷改了工具名
前端·人工智能·后端
阿里云大数据AI技术1 小时前
穹彻智能 × MaxCompute:具身智能 UMI 数据产线的全模态计算实践
人工智能
联犀1 小时前
ai时代复杂项目的golang项目如何更好的与ai共舞:monorepo+gozero
开发语言·人工智能·golang
飞Link1 小时前
灵巧手是什么?从机械结构、驱动方式到控制原理,认识机器人的精细操作能力
人工智能·python·机器人
阿里云大数据AI技术1 小时前
从“扫文件”到“找数据行”:EMR Serverless StarRocks 支持 Paimon Global Index
人工智能
武子康2 小时前
AI通关了,游戏就算通过测试了吗?
人工智能·游戏·机器学习
Seiran2 小时前
CPU 突然打满,罪魁祸首是条用了三年的正则
人工智能
mechanical_expert2 小时前
以SILVERTHIN SC047CP0为例计算等截面薄壁轴承摩擦损耗和启动扭矩
人工智能·机器人