跟李沐学AI:门控循环单元GRU、

目录

简介

门

候选隐藏状态

隐状态


简介

GRU是一种在循环神经网络中使用的单元结构。它旨在解决传统RNN在网络处理长序列数据时遇到的梯度消失或梯度爆炸问题。

GRU通过引入门控机制来控制信息的流动,从而使得网络能够更好地学习长期依赖性。

门

门可以视为一个与隐状态相同长度的向量,分为重置门和更新门。 重置门允许我们控制"可能还想记住"的过去状态的数量; 更新门将允许我们控制新状态中有多少个是旧状态的副本。更新门是一个sigmoid激活函数输出的结果,其值范围在0到1之间。当更新门完全打开(接近1)时,意味着旧状态将完全保留;当它关闭(接近0)时,则意味着旧状态将被丢弃,新的候选状态将完全取代旧状态。

重置门计算公式为:。

更新门计算公式为:。

候选隐藏状态

候选隐状态(candidate hidden state)是指在某一时间步t计算出的一个潜在的新隐状态值,通常用表示。

候选隐状态计算公式为:。

符号⊙是Hadamard积(按元素乘积)运算符。 在这里,我们使用tanh非线性激活函数来确保候选隐状态中的值保持在区间(−1,1)中。其中,重置门的作用是确定上一时刻的状态​中有多少信息需要传递到当前时刻的候选隐状态中。如果重置门关闭(即​接近于0),则上一时刻的信息对当前候选隐状态的影响很小;如果重置门开启(即​接近于1),则上一时刻的信息将完全参与当前候选隐状态的计算。

隐状态

结合更新们,可以确定新的隐状态。决定了新的隐状态多大程度来自旧的隐状态和新的候选状态。每当更新门接近1时,模型就倾向只保留旧状态。 此时,来自的信息基本上被忽略, 从而有效地跳过了依赖链条中的时间步t。 相反,当接近0时, 新的隐状态就会接近候选隐状态。

隐状态公式为:

相关推荐
土豆12509 分钟前
你只说要什么,它负责拆活交付:任务编排插件上手指南
人工智能·llm
GoldenSpider.AI2 小时前
讲透 Claude Code 的 Code Mode:原理、流程、用法与 24 轮实测
人工智能·ai编程·claude code
oak隔壁找我2 小时前
一款运行在 DSH(DeepSeek Harness)中的工作区文件管理插件
人工智能
江屿风2 小时前
AI Agent架构全解析:从规划到记忆的智能跃迁
人工智能·笔记·架构·agent·c/s·mcp工作流
ZONGYUAN-ROOT2 小时前
【API配额】多源 LLM API 配额池化实战:轮换调度、变化量监控、故障自愈一套方案(Python 完整实现)
人工智能
syso_稻草人2 小时前
qwen-image-2.1 高清放大拆解:Qwen21LatentUpscale 潜空间 2x + denoise 0.35 修细节,12 组场景实测
人工智能·stable diffusion·prompt·comfyui·qwen-image2.1
羲云网络3 小时前
GPT Image 2.6 动态表情怎么改:从情绪歧义到动作节奏验收
人工智能·gif·图像编辑
EatFan4 小时前
AI Agent 工程化元年:从单体智能到 Agent 集群的架构演进与落地路径
人工智能·架构·ai agent·autogen·crewai·agent集群·记忆工程
泯泷4 小时前
别再“裸聊”大模型了!你家的 AI 为什么总胡说八道?根子在 RAG
人工智能·算法·架构