超简单理解LSTM和GRU模型

目录

RNN在反向传播时容易遭受梯度消失的问题,而梯度是用于更新神经网络权重的关键因子,梯度消失描述的是梯度在时间序列反向传播中逐渐减小的情况。

若梯度过小,它对于网络的学习贡献甚微。结果是,在RNN中,梯度更新很小的层级,并不能有效的学习。

RNN 容易遗忘较长序列中的信息,从而只留下短期记忆。

LSTM 和 GRU 正是为了解决短期记忆而设计的。

而LSTM的核心概念是它们的单元状态和各种门。

细胞状态如同一条信息告诉通道,持续传递至整个序列中,它可被视作网络的记忆中心。




参考资料

1\] [超简单理解LSTM和GRU模型,深度学习入门](https://www.bilibili.com/video/BV1EP411Y74W/?spm_id_from=333.337.search-card.all.click&vd_source=b5e395daf1dc59fb72b2633affa96661) 2023.8

相关推荐
dundunmm3 小时前
【每天一个知识点】训推一体机
人工智能·大模型·硬件·软件·训练·推理
johnny2334 小时前
OCR、文档解析工具合集(下)
人工智能
Moshow郑锴6 小时前
实践题:智能客服机器人设计
人工智能·机器人·智能客服
2501_924889556 小时前
商超高峰客流统计误差↓75%!陌讯多模态融合算法在智慧零售的实战解析
大数据·人工智能·算法·计算机视觉·零售
维基框架7 小时前
维基框架 (Wiki Framework) 1.1.0 版本发布 提供多模型AI辅助开发
人工智能
西猫雷婶7 小时前
神经网络|(十二)概率论基础知识-先验/后验/似然概率基本概念
人工智能·神经网络·机器学习·回归·概率论
居7然8 小时前
大模型微调面试题全解析:从概念到实战
人工智能·微调
haidizym9 小时前
质谱数据分析环节体系整理
大数据·人工智能·数据分析·ai4s
Godspeed Zhao9 小时前
Tesla自动驾驶域控制器产品(AutoPilot HW)的系统化梳理
人工智能·机器学习·自动驾驶
fsnine9 小时前
机器学习案例——预测矿物类型(模型训练)
人工智能·机器学习