LSTM (Long Short-Term Memory)

正如其名它是长时记忆和短时记忆相结合

RNN中将序列信息进行运用,但是也存在他的缺点就是随着时间序列的长度增加,产生梯度消失和梯度爆炸问题,因此长期记忆能力有限,所以引出LSTM。(但是对于较短的序列,RNN 可能能够较好地学习到其中的模式和关系。)

LSTM相当于给RNN模块增加了一个笔记本以达到长期记忆的效果

LSMT模块:

LSTM主要包含四个门(遗忘门输入门候选记忆输出门)来决定当前时刻的隐状态和记忆单元如何更新。对于每个时间步,LSTM会基于当前的输入和上一时刻的隐状态以及记忆单元来进行计算。

LSTM的一些核心公式:

遗忘门(Forget gate)决定上一时刻的记忆单元中有多少信息被遗忘:

输入门(Input gate)决定当前时刻输入的信息有多少被存储在记忆单元中:

候选记忆(Candidate memory)决定当前输入的候选记忆内容:

更新记忆单元(Update cell state)基于遗忘门和输入门来更新记忆单元:

输出门(Output gate)决定当前时刻的输出(隐状态):

计算隐状态(Output hidden state):

相关推荐
xwz小王子1 小时前
拒绝视频生成,深度跃迁提出具身基座模型全新路线
人工智能·深度学习·机器学习
β添砖java3 小时前
深度学习30双向循环神经网路、机器翻译数据集、序列到序列学习、束搜索
人工智能·深度学习
计算机编程-吉哥3 小时前
小麦叶病害识别系统:基于MobileNet的智能农业病害检测实战【计算机毕业设计选题推荐、深度学习】
人工智能·深度学习·毕业设计·课程设计·计算机毕业设计选题·机器学习毕业设计·大数据毕业设计选题推荐
EDPJ3 小时前
(2026|CVPR|安大,可学习正常/异常 token,空间感知交叉注意力)VisualAD:基于 ViT 的语言无关零样本异常检测
深度学习·计算机视觉·缺陷检测·异常检测
weixin_440213294 小时前
深度学习正则化方法详解|Dropout / BN / L1&L2 正则
深度学习·dropout·正则化·过拟合·泛化能力
流浪0014 小时前
大模型技术全景(五):开源大模型生态指南,Hugging Face 与魔搭社区
人工智能·深度学习·llm
手写码匠5 小时前
华为云Flexus+DeepSeek征文|DeepSeek R1 推理优化实战:让复杂任务的回答又快又稳
人工智能·深度学习·算法·aigc
Zguigo5 小时前
Coding Agent 上下文压缩:从 Claude Code / Codex / Pi 到自研策略
深度学习·vllm
月华路5 小时前
《模型不玄学》第16章 概率校准
人工智能·深度学习·机器学习
问天_观心14 小时前
大模型微调学习(二)
人工智能·python·深度学习·学习·语言模型·transformer