Class48 GRU

Class48 GRU

GRU 是 RNN的一种变体,主要为了解决梯度消失/梯度爆炸长期依赖学习困难

不是每个观察值都同等重要

例如图中只有第一只猫比较重要,当然老鼠也很重要。

核心结构

一.重置门

作用:决定要"忘掉"多少过去的隐藏状态信息

输入:

输出:

直观理解:

想象你在写一句话时,前一句话的某些信息对当前词没用,你就"重置"掉它;有用的部分就保留下来。

二.重置门

作用:控制新信息与历史信息的融合

输出:

直观理解:

更新门类似"门闩",决定当前隐藏状态是更"偏过去"还是更"偏现在"

让 GRU 能记住长期信息,也能快速吸收新信息

三.候选隐藏状态

作用:生成新的候选状态 ℎ~𝑡,准备更新隐藏状态

核心点:

输出:

直观理解:

候选状态是 "当前输入 + 部分历史记忆的混合"

重置门帮助 GRU 在需要时忘掉历史,专注当前输入

四.最终隐藏状态

作用:融合历史信息和新候选状态

核心:

完整表达:

直观理解:

GRU 通过公式实现长期记忆 + 短期更新的平衡

相关推荐
Hello.Reader3 分钟前
Flink ML MinMaxScaler 把特征缩放到统一区间 [min, max]
大数据·人工智能·flink
byzh_rc5 分钟前
[算法设计与分析-从入门到入土] 复杂算法
数据库·人工智能·算法·机器学习·支持向量机
SHIPKING39310 分钟前
2025:从理论到Agent实战——我的AI深度探索与创作之旅
人工智能
石去皿11 分钟前
高级 RAG 实战指南:从基础检索到智能推理的跃迁
人工智能·语言模型·agent·rag
Coder_Boy_13 分钟前
基于SpringAI的智能OPS平台开发前置技能FAISS
人工智能·springboot·faiss
浪子sunny14 分钟前
实时行情Tick数据-金融高频数据解决方案
人工智能
DatGuy19 分钟前
Week 31: 深度学习补遗:Mamba
人工智能·深度学习
点云SLAM21 分钟前
Manipulate 英文单词学习
人工智能·英文单词学习·雅思备考·manipulate·操作 / 操控·操纵 / 控制·处理 / 调整
艺术是真的秃头21 分钟前
Trae:当编程从“编写”转向“对话”与“委派”
人工智能·python·ai·aigc
石像鬼₧魂石24 分钟前
SQLMap 注入完整操作流程(新手通关手册)
linux·人工智能·windows·学习