LSTM (Long Short-Term Memory)

正如其名它是长时记忆和短时记忆相结合

RNN中将序列信息进行运用,但是也存在他的缺点就是随着时间序列的长度增加,产生梯度消失和梯度爆炸问题,因此长期记忆能力有限,所以引出LSTM。(但是对于较短的序列,RNN 可能能够较好地学习到其中的模式和关系。)

LSTM相当于给RNN模块增加了一个笔记本以达到长期记忆的效果

LSMT模块:

LSTM主要包含四个门(遗忘门输入门候选记忆输出门)来决定当前时刻的隐状态和记忆单元如何更新。对于每个时间步,LSTM会基于当前的输入和上一时刻的隐状态以及记忆单元来进行计算。

LSTM的一些核心公式:

遗忘门(Forget gate)决定上一时刻的记忆单元中有多少信息被遗忘:

输入门(Input gate)决定当前时刻输入的信息有多少被存储在记忆单元中:

候选记忆(Candidate memory)决定当前输入的候选记忆内容:

更新记忆单元(Update cell state)基于遗忘门和输入门来更新记忆单元:

输出门(Output gate)决定当前时刻的输出(隐状态):

计算隐状态(Output hidden state):

相关推荐
木头左5 小时前
缺失值插补策略比较线性回归vs.相邻填充在LSTM输入层的性能差异分析
算法·线性回归·lstm
xier_ran6 小时前
深度学习:生成对抗网络(GAN)详解
人工智能·深度学习·机器学习·gan
海边夕阳20066 小时前
【每天一个AI小知识】:什么是循环神经网络?
人工智能·经验分享·rnn·深度学习·神经网络·机器学习
【建模先锋】7 小时前
论文复现!基于SAM-BiGRU网络的锂电池RUL预测
深度学习·论文复现·锂电池寿命预测·锂电池数据集·寿命预测
清云逸仙9 小时前
AI Prompt 工程最佳实践:打造结构化的Prompt
人工智能·经验分享·深度学习·ai·ai编程
松岛雾奈.23011 小时前
深度学习--TensorFlow框架使用
深度学习·tensorflow·neo4j
中杯可乐多加冰11 小时前
逻辑控制案例详解|基于smardaten实现OA一体化办公系统逻辑交互
人工智能·深度学习·低代码·oa办公·无代码·一体化平台·逻辑控制
大佬,救命!!!12 小时前
更换适配python版本直接进行机器学习深度学习等相关环境配置(非仿真环境)
人工智能·python·深度学习·机器学习·学习笔记·详细配置
励志成为糕手12 小时前
循环神经网络(RNN):时序数据的深度学习模型
人工智能·rnn·深度学习·gru·lstm
CoovallyAIHub15 小时前
超越YOLOv8/v11!自研RKM-YOLO为输电线路巡检精度、速度双提升
深度学习·算法·计算机视觉