LSTM (Long Short-Term Memory)

正如其名它是长时记忆和短时记忆相结合

RNN中将序列信息进行运用,但是也存在他的缺点就是随着时间序列的长度增加,产生梯度消失和梯度爆炸问题,因此长期记忆能力有限,所以引出LSTM。(但是对于较短的序列,RNN 可能能够较好地学习到其中的模式和关系。)

LSTM相当于给RNN模块增加了一个笔记本以达到长期记忆的效果

LSMT模块:

LSTM主要包含四个门(遗忘门输入门候选记忆输出门)来决定当前时刻的隐状态和记忆单元如何更新。对于每个时间步,LSTM会基于当前的输入和上一时刻的隐状态以及记忆单元来进行计算。

LSTM的一些核心公式:

遗忘门(Forget gate)决定上一时刻的记忆单元中有多少信息被遗忘:

输入门(Input gate)决定当前时刻输入的信息有多少被存储在记忆单元中:

候选记忆(Candidate memory)决定当前输入的候选记忆内容:

更新记忆单元(Update cell state)基于遗忘门和输入门来更新记忆单元:

输出门(Output gate)决定当前时刻的输出(隐状态):

计算隐状态(Output hidden state):

相关推荐
qiten_00721 小时前
深入解析参数高效微调(PEFT):原理、分类与实战
人工智能·深度学习
Always_away1 天前
动手学深度学习|线性神经网络:线性回归的实现
深度学习·神经网络·线性回归
promising_xxx1 天前
深度学习个人开源知识库 深度筑基 | DeepBase
人工智能·python·深度学习·计算机视觉·ai·语言模型·nlp
东方佑1 天前
EnergyLM: Training Transformer Language Models at Equilibrium
深度学习·语言模型·transformer
z小猫不吃鱼1 天前
模型剪枝经典论文精读:Rethinking the Value of Network Pruning
人工智能·深度学习·计算机视觉
京东云开发者1 天前
把业务流程沉淀成高质量 Skill 的实践路径
深度学习·产品·运营
2601_951659991 天前
4.19华为OD机试真题 新系统 - WIFI设备网络规划 (JavaPyCC++JsGo)
深度学习·yolo·计算机视觉·yolo11·yolo26
机器学习之心1 天前
硬约束物理信息神经网络如何反演含水层渗透系数场——从数学原理到代码实现
人工智能·深度学习·神经网络·硬约束物理信息神经网络·参数反演
qiten_0071 天前
Selective PEFT:BitFit方法深度解析与实践
人工智能·深度学习
2601_951659991 天前
4.19华为OD机试真题 新系统 - 8位LED控制器 (JavaPyCC++JsGo)
深度学习·yolo·计算机视觉·yolo11·yolo26