LSTM (Long Short-Term Memory)

正如其名它是长时记忆和短时记忆相结合

RNN中将序列信息进行运用,但是也存在他的缺点就是随着时间序列的长度增加,产生梯度消失和梯度爆炸问题,因此长期记忆能力有限,所以引出LSTM。(但是对于较短的序列,RNN 可能能够较好地学习到其中的模式和关系。)

LSTM相当于给RNN模块增加了一个笔记本以达到长期记忆的效果

LSMT模块:

LSTM主要包含四个门(遗忘门输入门候选记忆输出门)来决定当前时刻的隐状态和记忆单元如何更新。对于每个时间步,LSTM会基于当前的输入和上一时刻的隐状态以及记忆单元来进行计算。

LSTM的一些核心公式:

遗忘门(Forget gate)决定上一时刻的记忆单元中有多少信息被遗忘:

输入门(Input gate)决定当前时刻输入的信息有多少被存储在记忆单元中:

候选记忆(Candidate memory)决定当前输入的候选记忆内容:

更新记忆单元(Update cell state)基于遗忘门和输入门来更新记忆单元:

输出门(Output gate)决定当前时刻的输出(隐状态):

计算隐状态(Output hidden state):

相关推荐
雨晨源码(同名B站)1 小时前
基于深度学习YoloV11农业病害虫害检测系统 智慧农业信息化综合管理平台 (附源码+lw文档+ppt)
数据库·人工智能·深度学习·yolo·信息可视化
liuyunshengsir2 小时前
从 TVM 到 TileLang:一文读懂深度学习编译器为什么走向 Tile 化
人工智能·深度学习·tvm·tilelang
DM今天肝到几点?2 小时前
英伟达发布 Nemotron 3.5 Lightning:31.6B 参数的“闪电”开源模型,本地智能体的新引擎
人工智能·深度学习·语言模型·开源·知识图谱
云和数据.ChenGuang2 小时前
fastapi项目拆分实战数据模型
java·服务器·数据库·人工智能·深度学习·fastapi·强化学习
DogDaoDao3 小时前
【第10篇】Python 异常处理与调试入门
python·深度学习·ai·程序员·大模型·异常处理与调试
小棉花的ai跨境之旅5 小时前
一个人跑通内容自动化管线:5 个真实大坑,第 1 个我就踩了
深度学习
人工干智能6 小时前
科普:从时间序列数据到LSTM多步时序预测
深度学习·机器学习
FriendshipT6 小时前
ComfyUI 使用 MiniMax H3 进行文生视频
人工智能·pytorch·python·深度学习·音视频
Yao.Li6 小时前
踩坑 5090 编译构建 Paddle 源码
人工智能·深度学习·飞桨·paddle
_codemonster7 小时前
Transformer的核心机制
人工智能·深度学习·transformer