Class48 GRU

Class48 GRU

GRU 是 RNN的一种变体,主要为了解决梯度消失/梯度爆炸长期依赖学习困难

不是每个观察值都同等重要

例如图中只有第一只猫比较重要,当然老鼠也很重要。

核心结构

一.重置门

作用:决定要"忘掉"多少过去的隐藏状态信息

输入:

输出:

直观理解:

想象你在写一句话时,前一句话的某些信息对当前词没用,你就"重置"掉它;有用的部分就保留下来。

二.重置门

作用:控制新信息与历史信息的融合

输出:

直观理解:

更新门类似"门闩",决定当前隐藏状态是更"偏过去"还是更"偏现在"

让 GRU 能记住长期信息,也能快速吸收新信息

三.候选隐藏状态

作用:生成新的候选状态 ℎ~𝑡,准备更新隐藏状态

核心点:

输出:

直观理解:

候选状态是 "当前输入 + 部分历史记忆的混合"

重置门帮助 GRU 在需要时忘掉历史,专注当前输入

四.最终隐藏状态

作用:融合历史信息和新候选状态

核心:

完整表达:

直观理解:

GRU 通过公式实现长期记忆 + 短期更新的平衡

相关推荐
qinyia1 分钟前
Wisdom SSH:AI助手可用的运维工具详解,帮助理解提升人机合作效率
运维·服务器·人工智能·ssh
却道天凉_好个秋8 分钟前
OpenCV(二十八):双边滤波
人工智能·opencv·计算机视觉
哥布林学者41 分钟前
吴恩达深度学习课程二: 改善深层神经网络 第三周:超参数调整,批量标准化和编程框架(二)batch归一化
深度学习·ai
IT_陈寒1 小时前
JavaScript性能优化:10个V8引擎隐藏技巧让你的代码快30%
前端·人工智能·后端
Dev7z1 小时前
基于图像处理技术的智能答题卡识别与评分系统设计与实现
图像处理·人工智能
掘金安东尼1 小时前
本地模型 + 云端模型的 Hybrid Inference 架构设计:下一代智能系统的底层范式
人工智能
强盛小灵通专卖员1 小时前
煤矿传送带异物检测:深度学习引领煤矿安全新革命!
人工智能·目标检测·sci·研究生·煤矿安全·延毕·传送带
学历真的很重要2 小时前
PyTorch 零基础入门:从张量到 GPU 加速完全指南
人工智能·pytorch·后端·深度学习·语言模型·职场和发展
mit6.8242 小时前
[Column] Perplexity 如何构建 AI 版 Google | 模型无关架构 | Vespa AI检索
人工智能