超简单理解LSTM和GRU模型

目录

RNN在反向传播时容易遭受梯度消失的问题,而梯度是用于更新神经网络权重的关键因子,梯度消失描述的是梯度在时间序列反向传播中逐渐减小的情况。

若梯度过小,它对于网络的学习贡献甚微。结果是,在RNN中,梯度更新很小的层级,并不能有效的学习。

RNN 容易遗忘较长序列中的信息,从而只留下短期记忆。

LSTM 和 GRU 正是为了解决短期记忆而设计的。

而LSTM的核心概念是它们的单元状态和各种门。

细胞状态如同一条信息告诉通道,持续传递至整个序列中,它可被视作网络的记忆中心。




参考资料

1\] [超简单理解LSTM和GRU模型,深度学习入门](https://www.bilibili.com/video/BV1EP411Y74W/?spm_id_from=333.337.search-card.all.click&vd_source=b5e395daf1dc59fb72b2633affa96661) 2023.8

相关推荐
珊珊而川几秒前
多agent框架被用于分布式环境中的任务执行 是什么意思
人工智能
知来者逆几秒前
计算机视觉——从环境配置到跨线计数的完整实现基于 YOLOv12 与质心追踪器的实时人员监控系统
人工智能·yolo·目标检测·计算机视觉·1024程序员节·目标追踪·yolov12
九章云极AladdinEdu3 分钟前
AI芯片微架构对比:从NVIDIA Tensor Core到Google TPU的矩阵计算单元
人工智能·tensor core·tpu·混合精度·矩阵计算单元·wmma编程·脉动阵列
Geoking.7 分钟前
PyTorch torch.ones()张量创建详解
人工智能·pytorch·python
AKAMAI23 分钟前
Akamai推出Akamai Inference Cloud (AI推理云),重新定义人工智能的应用场景与实现方式
人工智能·云原生·云计算
whaosoft-14326 分钟前
51c大模型~合集42
人工智能
leo__52036 分钟前
基于经验模态分解的去趋势波动分析(EMD-DFA)方法
人工智能·算法·机器学习
FanXing_zl1 小时前
10分钟学懂线性代数
人工智能·线性代数·机器学习
万少1 小时前
Trae AI 编辑器6大使用规则
前端·javascript·人工智能