七、门控循环单元语言模型(GRU)

门控循环单元(Gated Recurrent Unit,GRU)是 LSTM 的一个稍微简化的变体,通常能够提供同等的效果,并且计算训练的速度更快。

门控循环单元原理图:参考门控循环单元

原理图中各个图形含义:

  • X(t):表示当前时刻输入的信息(假设输入的样本个数为 n,输入个数为 d)
  • H(t-1):表示上一时刻的隐藏状态。隐藏状态充当了神经网络的记忆,包含之前节点数据信息的综合(假设上一个时间步的隐状态的单元个数为 h)
  • H(t):表示传递到下一时刻的隐藏状态。
  • H'(t):表示候选隐藏状态(candidate hidden state)。
  • R(t):表示重置门(reset gate),允许我们控制"可能还想记住"的过去状态的数量。
  • Z(t):表示更新门(update gate),允许我们控制新状态中有多少个是旧状态的副本。
  • σ:激活函数 sigmoid,可以将数据变为 (0, 1) 范围的数值。
  • tanh:激活函数 tanh,可以将数据变为 (-1, 1) 范围的数值。
  • W(xr) 和 W(xz) 是维度为 d×h 的权重参数,W(hr) 和 W(hz) 是维度为 h×h 的是权重参数,W(xh) 是维度为 d×h 的权重参数, W(hh) 是维度为 h×h 的是权重参数
  • b(r)、b(z)、b(h) 是维度为 1×h 的偏置参数。

重置门和更新门的计算公式如下:

候选隐状态的计算公式如下:

下一时刻的隐藏状态公式如下:

  • 重置门有助于捕获序列中的短期依赖关系;

  • 更新门有助于捕获序列中的长期依赖关系。

参考一文人人都能看懂的GRU

相关推荐
SwanArc技术笔记4 分钟前
读技术文档,先用哪个 AI?模型指南筛选与 GPT-6.2 Astra 实操
人工智能
深海鱼在掘金4 分钟前
深入浅出RAG——第21章:回顾与展望
人工智能
羲云网络6 分钟前
GPT Image 2.6 GIF 交付排障:上线后为什么只剩第一帧?
图像处理·人工智能·前端开发·gif
安爹前沿AI13 分钟前
Seedance 有个文档里没写的参数:开了码率涨 3.9 倍,费用一分没多
人工智能
深海鱼在掘金15 分钟前
深入浅出RAG——第20章:端到端实战:企业级知识库问答系统
人工智能
黑十16 分钟前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能
樊小肆44 分钟前
agent 不报错才最吓人:自研编码工具半年,我踩了 10 个"看着正常"的运行时坑
前端·人工智能·agent
用户986023965611 小时前
Gemini Tool Retrieval:工具越来越多,Agent 如何按需读取参数说明?
人工智能
用户1917291270831 小时前
Agent 工具面裁剪:动态暴露与渐进披露(附 Python 代码)
人工智能
AI前端工程狮1 小时前
我给 MCP 长任务加进度条,五步只显示了一步
javascript·人工智能·程序员