超简单理解LSTM和GRU模型

目录

RNN在反向传播时容易遭受梯度消失的问题,而梯度是用于更新神经网络权重的关键因子,梯度消失描述的是梯度在时间序列反向传播中逐渐减小的情况。

若梯度过小,它对于网络的学习贡献甚微。结果是,在RNN中,梯度更新很小的层级,并不能有效的学习。

RNN 容易遗忘较长序列中的信息,从而只留下短期记忆。

LSTM 和 GRU 正是为了解决短期记忆而设计的。

而LSTM的核心概念是它们的单元状态和各种门。

细胞状态如同一条信息告诉通道,持续传递至整个序列中,它可被视作网络的记忆中心。




参考资料

1\] [超简单理解LSTM和GRU模型,深度学习入门](https://www.bilibili.com/video/BV1EP411Y74W/?spm_id_from=333.337.search-card.all.click&vd_source=b5e395daf1dc59fb72b2633affa96661) 2023.8

相关推荐
乌恩大侠2 小时前
自动驾驶的未来:多模态传感器钻机
人工智能·机器学习·自动驾驶
光锥智能3 小时前
AI办公的效率革命,金山办公从未被颠覆
人工智能
GetcharZp3 小时前
爆肝整理!带你快速上手LangChain,轻松集成DeepSeek,打造自己的AI应用
人工智能·llm·deepseek
猫头虎3 小时前
新手小白如何快速检测IP 的好坏?
网络·人工智能·网络协议·tcp/ip·开源·github·php
GeeJoe4 小时前
凡人炼丹传之 · 我让 AI 帮我训练了一个 AI
人工智能·机器学习·llm
小和尚同志4 小时前
Dify29. 为你的 Dify API 穿层衣服吧
人工智能·aigc
不会学习的小白O^O4 小时前
神经网络----卷积层(Conv2D)
人工智能·深度学习·神经网络
bastgia4 小时前
Transformer终结者?Google DeepMind新架构实现2倍推理速度和一半内存占用
人工智能·llm
努力一点9484 小时前
ubuntu22.04系统入门 linux入门(二) 简单命令 多实践以及相关文件管理命令
linux·运维·服务器·人工智能·gpu算力