LSTM结构原理

什么是LSTM

LSTM(长短时记忆)网络是一种特殊的RNN网络,通过门结构,对细胞状态进行删除或者添加信息。门能够选择性的决定让哪些信息通过,其中们结构通过sigmoid曾和一个点乘操作来实现。

LSTM能够处理文本数据或者时序数据。

LSTM 解决了什么问题

LSTM的门结构能够选择性的记忆或者忘记信息,有效避免了梯度消失问题,并保持了长期记忆的能力。

LSTM的实现原理

门的实现

通过Sigmoid层和一个点乘操作的组合,sigmoid函数输出的结构在0-1之间。

1、遗忘门(forget gate)

遗忘门f:决定遗忘多少前一时刻的记忆

为一个向量(与h 、c有相同的维度)。

  • C表示长期记忆
  • h(t-1)表示上一时刻网络状态,h(t)表示当前时刻网络状态;
    遗忘门的权重和当前时刻的状态输入xt拼接上一个时刻的网络状态h(t-1)相乘,再经过sigmoid函数得到ft(值为0-1之间)

2、输入门(input gate)

输入门:决定要记住多少当前输入信息,同时结合遗忘门的输出,计算出新的记忆单元状态。

Ct^表示短时记忆

更新Ct

通过遗忘门和输入门的向量更新Ct

3、输出门(output gate)

输出门:决定哪些值流出

更新输出

状态ht:LSTM的输出,通过ot计算多少长期记忆用于LSTM的输出。

整体流程

LSTM结构中包含:遗忘门、输入门、输出门。图中上方的传输带传递的是长期记忆。

  • 遗忘门计算当前输入向量xt与前一时刻的记忆向量h(t-1)拼接的向量与遗忘门权重向量wf相乘,经过sigmoid激活函数得到ft向量。根据上一个时刻的输出与当前时刻的输入选择需要在单元状态中遗忘的状态。
  • 输入门计算两部分信息,第一部分记住多少当前输入信息,第二部分计算遗忘门输出的信息,结合两部分计算新的记忆单元。根据上一个状态输出和当前输入选择需要在单元状态中新记忆的状态。
  • 输出门计算记忆单元中多少内容作为LSTM 的输出。根据单元状态和当前输入决定LSTM的输出

遗忘门、输入门、输出门中输入门包含两个参数,其他门各包含一个参数。维度是(h, h+x)


感谢:https://www.bilibili.com/video/BV1i44y1P7J5?spm_id_from=333.788.player.switch&vd_source=91cfed371d5491e2973d221d250b54ae

相关推荐
小馒头学python1 分钟前
【机器学习】聚类算法分类与探讨
人工智能·python·算法·机器学习·聚类
whaosoft-1432 分钟前
51c大模型~合集13
人工智能
AI绘画咪酱31 分钟前
【AI绘画】AI绘图教程|stable diffusion(SD)图生图涂鸦超详细攻略,教你快速上手
人工智能·ai作画·stable diffusion·aigc·midjourney
bigbig猩猩42 分钟前
跨模态对齐与跨领域学习:提升AI泛化与理解能力的研究
人工智能·学习
云翼时代科技1 小时前
Midjourney中文版:创意无界,艺术之旅由此启航!
人工智能
LDG_AGI1 小时前
【人工智能】Transformers之Pipeline(二十二):零样本文本分类(zero-shot-classification)
大数据·人工智能·python·深度学习·机器学习·数据挖掘
Shy9604181 小时前
Pytorch实现transformer语言模型
人工智能·pytorch
凤枭香1 小时前
python opencv灰度变换
图像处理·人工智能·python·opencv
多吃轻食1 小时前
大模型的常用指令格式 --> ShareGPT 和 Alpaca (以 llama-factory 里的设置为例)
人工智能·深度学习·语言模型·自然语言处理
全栈若城1 小时前
腾讯云 AI 代码助手
人工智能