深度学习:循环神经网络 --- LSTM网络原理

LSTM网络的介绍

循环神经网络(Recurrent Neural Networks,RNN)是一种用于处理序列数据的神经网络,它能够处理任意长度的序列,并且能够保持对之前数据的记忆。LSTM(Long Short-Term Memory)网络是RNN的一种特殊类型,它在处理长序列数据时表现更为出色,因为它能够学习到长期依赖关系。

LSTM (长短时记忆网络)或 GRU(门控循环单元)就是如此,它们可以学习只保留相关信息来进行预测,并忘记不相关的数据。简单说,因记忆能力有限,记住重要的,忘记无关紧要的。LSTM 和 GRU 是解决短时记忆问题的解决方案,它们具有称为"门"的内部机制,可以调节信息流。

RNN网络的结构

第一个词被转换成了机器可读的向量,然后 RNN 逐个处理向量序列。

LSTM 有3种类型的门结构:

遗忘门(Forget Gate)

功能:决定应丢弃哪些关键词信息。

步骤:遗忘门的目的是决定哪些信息应该从细胞状态中被遗忘或保留。它通过以下步骤工作:

  1. 输入:遗忘门接收前一个时间步的输出(隐藏状态)ht−1和当前时间步的输入 xt。

  2. 合并:将这两个输入合并成一个向量。

  3. sigmoid 函数:将合并后的向量通过sigmoid函数,输出一个介于0和1之间的值。这个值决定了细胞状态中每个单元格的遗忘程度。

  4. 遗忘操作:将前一个细胞状态 Ct−1​ 与sigmoid函数的输出相乘。接近0的值意味着这部分信息将被遗忘,而接近1的值意味着这部分信息将被保留。

输入门(Input Gate)

功能:用于更新细胞状态。

步骤:输入门负责决定哪些新信息将被存储在细胞状态中。它包括两个主要部分:sigmoid层和tanh层。

  1. 输入:输入门同样接收前一个时间步的隐藏状态 ht−1​ 和当前时间步的输入 xt。

  2. sigmoid 函数:首先,将输入合并并通过一个sigmoid函数,这个函数决定哪些值需要更新。

  3. tanh 函数:同时,将相同的输入合并并通过一个tanh函数,生成一个新的候选值向量。这个向量的值介于-1和1之间,表示可能被加入到细胞状态的新信息。

  4. 更新细胞状态:将sigmoid函数的输出(决定更新的部分)与tanh函数的输出(候选值)相乘,然后将这个结果加到通过遗忘门更新的细胞状态上。

输出门(Output Gate)

功能:用来确定下一个隐藏状态的值。

步骤:输出门决定细胞状态中的哪些信息将被输出到下一层或作为序列的预测输出。

  1. 输入:输出门接收前一个时间步的隐藏状态 ht−1​ 和当前时间步的输入 xt​。

  2. 合并:将这两个输入合并成一个向量。

  3. sigmoid 函数:将合并后的向量通过sigmoid函数,输出一个介于0和1之间的值。这个值决定了细胞状态中每个单元格的输出程度。

  4. tanh 函数:同时,将当前的细胞状态 Ct 通过一个tanh函数,这个函数将细胞状态的值标准化到-1和1之间。

  5. 输出:将sigmoid函数的输出(决定输出的部分)与tanh函数的输出(当前细胞状态的标准化值)相乘,得到最终的隐藏状态 ht,这个隐藏状态可以作为输出或传递到下一个LSTM单元。

这三个门的协同工作使得LSTM网络能够捕捉长期依赖关系,并在处理序列数据时表现出色。

相关推荐
光明中黑暗21 分钟前
Python 学习笔记
笔记·python·学习
聪明的墨菲特i26 分钟前
VUE组件学习 | 六、v-if, v-else-if, v-else组件
前端·vue.js·学习·前端框架·vue
纪怽ぅ1 小时前
LSTM——长短期记忆神经网络
python·深度学习·神经网络·算法·机器学习·lstm
云空1 小时前
《神经网络:车辆损毁数据评估的新利器》
深度学习·神经网络·机器学习
云空1 小时前
《神经网络助力战场车辆及部件损毁识别与评估》
人工智能·深度学习·神经网络
B站计算机毕业设计超人1 小时前
计算机毕业设计Python+大模型股票预测系统 股票推荐系统 股票可视化 股票数据分析 量化交易系统 股票爬虫 股票K线图 大数据毕业设计 AI
大数据·爬虫·python·深度学习·数据挖掘·数据分析·课程设计
月巴月巴白勺合鸟月半2 小时前
使用C#学习Office文件的处理(pptx docx xlsx)
学习·microsoft·c#·excel·office
S hh2 小时前
【Linux网络】UdpSocket
linux·运维·服务器·网络·学习
南宫生3 小时前
贪心算法理论基础和习题【算法学习day.17】
java·学习·算法·leetcode·链表·贪心算法
小c君tt3 小时前
MFC文件管理-学习笔记
笔记·学习·mfc