LSTM (Long Short-Term Memory)

正如其名它是长时记忆和短时记忆相结合

RNN中将序列信息进行运用,但是也存在他的缺点就是随着时间序列的长度增加,产生梯度消失和梯度爆炸问题,因此长期记忆能力有限,所以引出LSTM。(但是对于较短的序列,RNN 可能能够较好地学习到其中的模式和关系。)

LSTM相当于给RNN模块增加了一个笔记本以达到长期记忆的效果

LSMT模块:

LSTM主要包含四个门(遗忘门输入门候选记忆输出门)来决定当前时刻的隐状态和记忆单元如何更新。对于每个时间步,LSTM会基于当前的输入和上一时刻的隐状态以及记忆单元来进行计算。

LSTM的一些核心公式:

遗忘门(Forget gate)决定上一时刻的记忆单元中有多少信息被遗忘:

输入门(Input gate)决定当前时刻输入的信息有多少被存储在记忆单元中:

候选记忆(Candidate memory)决定当前输入的候选记忆内容:

更新记忆单元(Update cell state)基于遗忘门和输入门来更新记忆单元:

输出门(Output gate)决定当前时刻的输出(隐状态):

计算隐状态(Output hidden state):

相关推荐
盼小辉丶2 分钟前
视觉Transformer实战 | Cross-Attention Multi-Scale Vision Transformer(CrossViT)详解与实现
深度学习·计算机视觉·transformer
智星云算力5 分钟前
实验室无GPU如何深度学习
人工智能·深度学习·阿里云·智星云·gpu算力租用
zh路西法5 分钟前
【宇树机器人强化学习】(四):Go2基础训练以及参数调节与解析
python·深度学习·ubuntu·机器学习·机器人
集芯微电科技有限公司21 分钟前
适用于GaN PD快充65W/33W超高频驱动器
人工智能·单片机·嵌入式硬件·深度学习·神经网络·机器学习·生成对抗网络
CoovallyAIHub26 分钟前
RF-DETR:最近一个月迭代 5 个版本的实时检测+分割模型
深度学习·算法·计算机视觉
阿_旭44 分钟前
基于YOLO26深度学习的茶叶病害智能检测识别系统【python源码+Pyqt5界面+数据集+训练代码】
人工智能·python·深度学习·茶叶病害检测
放下华子我只抽RuiKe51 小时前
构建企业级私有化 AI:从大模型原理到本地智聊机器人全栈部署指南
开发语言·人工智能·python·深度学习·机器学习·分类·机器人
芯片-嵌入式1 小时前
具身智能(4):最重要的感知sensor:相机
人工智能·深度学习·dnn
机器学习之心1 小时前
一区级光伏功率预测创新模型!CEEMDAN-KPCA-PINN多变量时序预测!完全自适应噪声集合经验模态分解+核主成份降维+物理信息神经网络
人工智能·深度学习·神经网络·ceemdan·光伏功率预测·多变量时序预测·pinn
沪漂阿龙2 小时前
大模型持续预训练全解析:如何注入领域知识而不“遗忘”通用能力?
人工智能·深度学习·机器学习