LSTM结构原理

什么是LSTM

LSTM(长短时记忆)网络是一种特殊的RNN网络,通过门结构,对细胞状态进行删除或者添加信息。门能够选择性的决定让哪些信息通过,其中们结构通过sigmoid曾和一个点乘操作来实现。

LSTM能够处理文本数据或者时序数据。

LSTM 解决了什么问题

LSTM的门结构能够选择性的记忆或者忘记信息,有效避免了梯度消失问题,并保持了长期记忆的能力。

LSTM的实现原理

门的实现

通过Sigmoid层和一个点乘操作的组合,sigmoid函数输出的结构在0-1之间。

1、遗忘门(forget gate)

遗忘门f:决定遗忘多少前一时刻的记忆

为一个向量(与h 、c有相同的维度)。

  • C表示长期记忆
  • h(t-1)表示上一时刻网络状态,h(t)表示当前时刻网络状态;
    遗忘门的权重和当前时刻的状态输入xt拼接上一个时刻的网络状态h(t-1)相乘,再经过sigmoid函数得到ft(值为0-1之间)

2、输入门(input gate)

输入门:决定要记住多少当前输入信息,同时结合遗忘门的输出,计算出新的记忆单元状态。

Ct^表示短时记忆

更新Ct

通过遗忘门和输入门的向量更新Ct

3、输出门(output gate)

输出门:决定哪些值流出

更新输出

状态ht:LSTM的输出,通过ot计算多少长期记忆用于LSTM的输出。

整体流程

LSTM结构中包含:遗忘门、输入门、输出门。图中上方的传输带传递的是长期记忆。

  • 遗忘门计算当前输入向量xt与前一时刻的记忆向量h(t-1)拼接的向量与遗忘门权重向量wf相乘,经过sigmoid激活函数得到ft向量。根据上一个时刻的输出与当前时刻的输入选择需要在单元状态中遗忘的状态。
  • 输入门计算两部分信息,第一部分记住多少当前输入信息,第二部分计算遗忘门输出的信息,结合两部分计算新的记忆单元。根据上一个状态输出和当前输入选择需要在单元状态中新记忆的状态。
  • 输出门计算记忆单元中多少内容作为LSTM 的输出。根据单元状态和当前输入决定LSTM的输出

遗忘门、输入门、输出门中输入门包含两个参数,其他门各包含一个参数。维度是(h, h+x)


感谢:https://www.bilibili.com/video/BV1i44y1P7J5?spm_id_from=333.788.player.switch&vd_source=91cfed371d5491e2973d221d250b54ae

相关推荐
拾零吖25 分钟前
李宏毅 Deep Learning
人工智能·深度学习·机器学习
华芯邦27 分钟前
广东充电芯片助力新能源汽车车载系统升级
人工智能·科技·车载系统·汽车·制造
时空无限1 小时前
说说transformer 中的掩码矩阵以及为什么能掩盖住词语
人工智能·矩阵·transformer
查里王1 小时前
AI 3D 生成工具知识库:当前产品格局与测评总结
人工智能·3d
武子康2 小时前
AI-调查研究-76-具身智能 当机器人走进生活:具身智能对就业与社会结构的深远影响
人工智能·程序人生·ai·职场和发展·机器人·生活·具身智能
小鹿清扫日记2 小时前
从蛮力清扫到 “会看路”:室外清洁机器人的文明进阶
人工智能·ai·机器人·扫地机器人·具身智能·连合直租·有鹿巡扫机器人
fanstuck2 小时前
Prompt提示工程上手指南(六):AI避免“幻觉”(Hallucination)策略下的Prompt
人工智能·语言模型·自然语言处理·nlp·prompt
zhangfeng11333 小时前
win7 R 4.4.0和RStudio1.25的版本兼容性以及系统区域设置有关 导致Plots绘图面板被禁用,但是单独页面显示
开发语言·人工智能·r语言·生物信息
DogDaoDao3 小时前
神经网络稀疏化设计构架方法和原理深度解析
人工智能·pytorch·深度学习·神经网络·大模型·剪枝·网络稀疏
西猫雷婶4 小时前
pytorch基本运算-Python控制流梯度运算
人工智能·pytorch·python·深度学习·神经网络·机器学习