【神经网络与深度学习】LSTM（Long Short-Term Memory）神经网络模型

概述

LSTM（Long Short-Term Memory）是一种特殊的循环神经网络（RNN）结构 ，通常被用于处理和学习时间序列数据。因此，LSTM属于深度学习领域中的一种神经网络模型。

在深度学习中，LSTM被广泛应用于需要处理长期依赖关系的任务，如语音识别、自然语言处理、时间序列预测等。

相较于传统的RNN结构，LSTM通过引入门控单元的机制，能够更好地捕捉和利用时间序列数据中的长期依赖关系，从而提高模型的性能和泛化能力。

RNN

循环神经网络（Recurrent Neural Network，RNN）是一种具有循环连接的神经网络结构，专门设计用于处理序列数据和具有时间依赖性的数据。在循环神经网络中，神经元之间的连接形成了循环路径，使得网络可以对序列数据进行逐步处理，并保留之前的信息状态。

循环神经网络的主要特点包括：

循环连接：神经元之间的连接形成了循环路径，使得网络可以捕捉到序列数据中的时间依赖关系，从而能够处理不定长的序列数据。
共享权重：在RNN中，相同层的神经元之间共享相同的权重参数，这使得网络可以通过时间共享参数来学习序列数据中的模式和特征。
状态传递：RNN中每个时间步的输出不仅取决于当前输入，还取决于之前的状态信息，因此网络可以保持记忆并利用历史信息来影响当前的计算。

尽管RNN在处理序列数据方面具有很强的表达能力，但也存在一些问题，例如难以捕捉长距离依赖关系、梯度消失和爆炸等问题。为了解决这些问题，出现了一些改进的RNN结构，如长短时记忆网络（LSTM）和门控循环单元（GRU），它们通过引入门控机制来更好地处理长期依赖关系。

这是典型的RNN网络在 t 时刻展开的样子：

LSTM

原始的RNN的内部结构如下：

在一个单元里只包含一个激活函数。

LSTM内部结构如下：

详细视频讲解

LSTM设置了两个关键变量:

主要负责记忆短期信息、尤其是当前时间步信息的隐藏状态h，以及
主要负责长期记它的细胞状态C

LSTM（Long Short-Term Memory）是一种特殊类型的循环神经网络结构，具有三个关键的门控单元，分别是输入门（input gate）、遗忘门（forget gate）和输出门（output gate） 。这些门控单元通过学习来控制信息的流动，帮助LSTM网络更好地处理长期依赖关系。