七、门控循环单元语言模型(GRU)

门控循环单元(Gated Recurrent Unit,GRU)是 LSTM 的一个稍微简化的变体,通常能够提供同等的效果,并且计算训练的速度更快。

门控循环单元原理图:参考门控循环单元

原理图中各个图形含义:

  • X(t):表示当前时刻输入的信息(假设输入的样本个数为 n,输入个数为 d)
  • H(t-1):表示上一时刻的隐藏状态。隐藏状态充当了神经网络的记忆,包含之前节点数据信息的综合(假设上一个时间步的隐状态的单元个数为 h)
  • H(t):表示传递到下一时刻的隐藏状态。
  • H'(t):表示候选隐藏状态(candidate hidden state)。
  • R(t):表示重置门(reset gate),允许我们控制"可能还想记住"的过去状态的数量。
  • Z(t):表示更新门(update gate),允许我们控制新状态中有多少个是旧状态的副本。
  • σ:激活函数 sigmoid,可以将数据变为 (0, 1) 范围的数值。
  • tanh:激活函数 tanh,可以将数据变为 (-1, 1) 范围的数值。
  • W(xr) 和 W(xz) 是维度为 d×h 的权重参数,W(hr) 和 W(hz) 是维度为 h×h 的是权重参数,W(xh) 是维度为 d×h 的权重参数, W(hh) 是维度为 h×h 的是权重参数
  • b(r)、b(z)、b(h) 是维度为 1×h 的偏置参数。

重置门和更新门的计算公式如下:

候选隐状态的计算公式如下:

下一时刻的隐藏状态公式如下:

  • 重置门有助于捕获序列中的短期依赖关系;

  • 更新门有助于捕获序列中的长期依赖关系。

参考一文人人都能看懂的GRU

相关推荐
搬砖的小码农_Sky11 分钟前
AI:机器人行业发展现状
人工智能·机器人
深圳市快瞳科技有限公司23 分钟前
破解多宠管理难题,端侧AI重新定义宠物智能硬件
人工智能·智能硬件·宠物
Blossom.11839 分钟前
用一张“冰裂纹”石墨烯薄膜,让被动散热也能做 AI 推理——基于亚波长裂纹等离激元的零功耗温度-逻辑门
人工智能·深度学习·神经网络·目标检测·机器学习·机器人·语音识别
cylat41 分钟前
Day59 经典时序预测模型3
人工智能·python·深度学习·神经网络
萤火虫儿飞飞1 小时前
从基础加热到智能生态跨越:艾芬达用创新重构行业价值边界!
大数据·人工智能·重构
aneasystone本尊1 小时前
学习 RAGFlow 的系统架构
人工智能
Codebee1 小时前
OneCode3.0低代码引擎核心技术:常用动作事件速查手册及注解驱动开发详解
人工智能·架构
AI大模型技术社1 小时前
✅2025全网最具权威深度解析并手写RAG Pipeline
人工智能·llm·掘金·日新计划
mortimer1 小时前
Whisper断句不够好?用AI LLM和结构化数据打造完美字幕
人工智能·openai
计算生物前沿2 小时前
单细胞分析教程 | (二)标准化、特征选择、降为、聚类及可视化
人工智能·机器学习·聚类