LSTM (Long Short-Term Memory)

正如其名它是长时记忆和短时记忆相结合

RNN中将序列信息进行运用,但是也存在他的缺点就是随着时间序列的长度增加,产生梯度消失和梯度爆炸问题,因此长期记忆能力有限,所以引出LSTM。(但是对于较短的序列,RNN 可能能够较好地学习到其中的模式和关系。)

LSTM相当于给RNN模块增加了一个笔记本以达到长期记忆的效果

LSMT模块:

LSTM主要包含四个门(遗忘门输入门候选记忆输出门)来决定当前时刻的隐状态和记忆单元如何更新。对于每个时间步,LSTM会基于当前的输入和上一时刻的隐状态以及记忆单元来进行计算。

LSTM的一些核心公式:

遗忘门(Forget gate)决定上一时刻的记忆单元中有多少信息被遗忘:

输入门(Input gate)决定当前时刻输入的信息有多少被存储在记忆单元中:

候选记忆(Candidate memory)决定当前输入的候选记忆内容:

更新记忆单元(Update cell state)基于遗忘门和输入门来更新记忆单元:

输出门(Output gate)决定当前时刻的输出(隐状态):

计算隐状态(Output hidden state):

相关推荐
祝余Eleanor8 分钟前
Day37 模型可视化与推理
人工智能·python·深度学习
LaughingZhu36 分钟前
Product Hunt 每日热榜 | 2025-12-10
人工智能·经验分享·深度学习·神经网络·产品运营
辛勤的程序猿1 小时前
改进的mamba核心块—Hybrid SS2D Block(适用于视觉)
人工智能·深度学习·yolo
serve the people1 小时前
如何区分什么场景下用机器学习,什么场景下用深度学习
人工智能·深度学习·机器学习
weixin_457760002 小时前
RNN(循环神经网络)原理
人工智能·rnn·深度学习
小白狮ww2 小时前
Matlab 教程:基于 RFUAV 系统使用 Matlab 处理无人机信号
开发语言·人工智能·深度学习·机器学习·matlab·无人机·rfuav
拉姆哥的小屋3 小时前
突破传统PINN瓶颈:基于LSTM-格林函数的3D瞬态温度场智能预测新方法
人工智能·3d·lstm
无心水3 小时前
【神经风格迁移:深度实战】7、高级调参实战指南:从调参盲盒到科学优化方法论
人工智能·深度学习·神经网络·机器学习·vgg·神经风格迁移·vgg19
音视频牛哥4 小时前
从“十五五”到数字化转型:音视频技术在未来产业中的关键作用
人工智能·深度学习·计算机视觉·音视频·十五五规划音视频低延迟方案·十五五规划低空经济低延迟方案·rtsp rtmp播放器
高洁014 小时前
激活函数应该具有哪些特征
人工智能·python·深度学习·神经网络·transformer