LSTM结构原理

什么是LSTM

LSTM(长短时记忆)网络是一种特殊的RNN网络,通过门结构,对细胞状态进行删除或者添加信息。门能够选择性的决定让哪些信息通过,其中们结构通过sigmoid曾和一个点乘操作来实现。

LSTM能够处理文本数据或者时序数据。

LSTM 解决了什么问题

LSTM的门结构能够选择性的记忆或者忘记信息,有效避免了梯度消失问题,并保持了长期记忆的能力。

LSTM的实现原理

门的实现

通过Sigmoid层和一个点乘操作的组合,sigmoid函数输出的结构在0-1之间。

1、遗忘门(forget gate)

遗忘门f:决定遗忘多少前一时刻的记忆

为一个向量(与h 、c有相同的维度)。

  • C表示长期记忆
  • h(t-1)表示上一时刻网络状态,h(t)表示当前时刻网络状态;
    遗忘门的权重和当前时刻的状态输入xt拼接上一个时刻的网络状态h(t-1)相乘,再经过sigmoid函数得到ft(值为0-1之间)

2、输入门(input gate)

输入门:决定要记住多少当前输入信息,同时结合遗忘门的输出,计算出新的记忆单元状态。

Ct^表示短时记忆

更新Ct

通过遗忘门和输入门的向量更新Ct

3、输出门(output gate)

输出门:决定哪些值流出

更新输出

状态ht:LSTM的输出,通过ot计算多少长期记忆用于LSTM的输出。

整体流程

LSTM结构中包含:遗忘门、输入门、输出门。图中上方的传输带传递的是长期记忆。

  • 遗忘门计算当前输入向量xt与前一时刻的记忆向量h(t-1)拼接的向量与遗忘门权重向量wf相乘,经过sigmoid激活函数得到ft向量。根据上一个时刻的输出与当前时刻的输入选择需要在单元状态中遗忘的状态。
  • 输入门计算两部分信息,第一部分记住多少当前输入信息,第二部分计算遗忘门输出的信息,结合两部分计算新的记忆单元。根据上一个状态输出和当前输入选择需要在单元状态中新记忆的状态。
  • 输出门计算记忆单元中多少内容作为LSTM 的输出。根据单元状态和当前输入决定LSTM的输出

遗忘门、输入门、输出门中输入门包含两个参数,其他门各包含一个参数。维度是(h, h+x)


感谢:https://www.bilibili.com/video/BV1i44y1P7J5?spm_id_from=333.788.player.switch&vd_source=91cfed371d5491e2973d221d250b54ae

相关推荐
机器之心4 分钟前
全球十亿级轨迹点驱动,首个轨迹基础大模型来了
人工智能·后端
z千鑫5 分钟前
【人工智能】PyTorch、TensorFlow 和 Keras 全面解析与对比:深度学习框架的终极指南
人工智能·pytorch·深度学习·aigc·tensorflow·keras·codemoss
EterNity_TiMe_5 分钟前
【论文复现】神经网络的公式推导与代码实现
人工智能·python·深度学习·神经网络·数据分析·特征分析
机智的小神仙儿22 分钟前
Query Processing——搜索与推荐系统的核心基础
人工智能·推荐算法
AI_小站29 分钟前
RAG 示例:使用 langchain、Redis、llama.cpp 构建一个 kubernetes 知识库问答
人工智能·程序人生·langchain·kubernetes·llama·知识库·rag
Doker 多克31 分钟前
Spring AI 框架使用的核心概念
人工智能·spring·chatgpt
Guofu_Liao31 分钟前
Llama模型文件介绍
人工智能·llama
思通数科多模态大模型1 小时前
10大核心应用场景,解锁AI检测系统的智能安全之道
人工智能·深度学习·安全·目标检测·计算机视觉·自然语言处理·数据挖掘
数据岛1 小时前
数据集论文:面向深度学习的土地利用场景分类与变化检测
人工智能·深度学习
龙的爹23332 小时前
论文翻译 | RECITATION-AUGMENTED LANGUAGE MODELS
人工智能·语言模型·自然语言处理·prompt·gpu算力