LSTM (Long Short-Term Memory)

正如其名它是长时记忆和短时记忆相结合

RNN中将序列信息进行运用,但是也存在他的缺点就是随着时间序列的长度增加,产生梯度消失和梯度爆炸问题,因此长期记忆能力有限,所以引出LSTM。(但是对于较短的序列,RNN 可能能够较好地学习到其中的模式和关系。)

LSTM相当于给RNN模块增加了一个笔记本以达到长期记忆的效果

LSMT模块:

LSTM主要包含四个门(遗忘门输入门候选记忆输出门)来决定当前时刻的隐状态和记忆单元如何更新。对于每个时间步,LSTM会基于当前的输入和上一时刻的隐状态以及记忆单元来进行计算。

LSTM的一些核心公式:

遗忘门(Forget gate)决定上一时刻的记忆单元中有多少信息被遗忘:

输入门(Input gate)决定当前时刻输入的信息有多少被存储在记忆单元中:

候选记忆(Candidate memory)决定当前输入的候选记忆内容:

更新记忆单元(Update cell state)基于遗忘门和输入门来更新记忆单元:

输出门(Output gate)决定当前时刻的输出(隐状态):

计算隐状态(Output hidden state):

相关推荐
Biomamba生信基地23 分钟前
《Advanced Science》前沿工具发布:STAID,空间反卷积自优化深度学习框架
论文阅读·深度学习·生物信息学·模型训练
一次旅行26 分钟前
Deepseek-V4-Flash 快速部署与调用实战指南
人工智能·深度学习
凯丨1 小时前
让 AI 通宵优化神经网络:Karpathy autoresearch 的设计哲学与启示
人工智能·深度学习·神经网络
AI医影跨模态组学2 小时前
Sci. Adv.(IF=12.5)首都医科大学宣武医院卢洁等团队:一种用于预测乳腺癌新辅助化疗病理完全缓解的多模态全自动系统
人工智能·深度学习·论文·医学影像·影像组学
lucky_syq2 小时前
【深度学习核心】注意力机制(Attention)详细解析
人工智能·深度学习
砥锋4 小时前
图注意力网络(GAT)深度实战:原理推导+PyG代码+从零开始写GAT层(附注意力可视化)
深度学习·机器学习
动物园猫4 小时前
水面5种垃圾目标检测数据集分享(适用于YOLO系列深度学习分类检测任务)
深度学习·yolo·目标检测
AI算法沐枫4 小时前
机器学习经典小项目4:泰坦尼克号生存预测
人工智能·python·深度学习·线性代数·算法·机器学习·回归
君为先-bey5 小时前
LeMiCa——基于扩散的高效视频生成的词典序最小最大路径缓存
人工智能·深度学习·计算机视觉·扩散模型
今天吃饺子5 小时前
50种近五年主流深度学习模型×10种时频方法,故障诊断、分类一键跑通!
人工智能·深度学习·机器学习·分类·数据挖掘