目录
[第一章 神经网络基础](#第一章 神经网络基础)
[3 循环神经网络](#3 循环神经网络)
[▲ 循环神经网络简介](#▲ 循环神经网络简介)
[▲ 循环神经网络应用](#▲ 循环神经网络应用)
[▲ 循环神经网络变种](#▲ 循环神经网络变种)
第一章 神经网络基础
3 循环神经网络
▲ 循环神经网络简介
循环神经网络（ Recurrent Neural Network ，简称 RNN ）是一种通过隐藏层节点周期性 的连接，来捕捉++++序列化++++数据中动态信息的神经网络，可以对序列化的数据进行分类。
标准RNN结构
多层双向循环神经网络
BPTT反向传播求导
标准RNN结构的问题
解决了信息记忆的问题，但是对长时间记忆的信息会衰减。很多任务需要保存长时间的记忆信息。
基本的循环神经网络存在梯度爆炸和梯度消失问题，并不能真正的处理好长距离的依赖。如下：
▲ 循环神经网络应用
循环神经网络的应用
▲ 循环神经网络变种
长短期记忆网络
长短期记忆网络（ Long Short Term Memory ， LSTM ）：一种特殊的 RNN 类型，可以学习长期依赖信息。
LSTM 的记忆单元和标准 RNN 一样，负责记录之前的信息 。
遗忘门结构通过分析上一时刻的输出，和当前时刻的输入，计算出遗忘系数 。
输入门结构通过分析上一时刻的输出，和当前时刻的输入，计算出输入系数和需要新记忆的内容。
信息更新
输出门
GRU
****门控循环单元（ Gated Recurrent Unit ， GRU ）****是简化版的 LSTM 。因为 LSTM 中，遗忘门和输入门的关系互补，所以 GRU 用一个门代替。
在 LSTM 中引入了三个门函数： ++++输入门++++ 、 ++++遗忘门++++ 和 ++++输出门++++ 来控制输入值、记忆值和输出值。
在 GRU 模型中只有两个门：分别是 ++++更新门++++ 和 ++++重置门++++。
说明：本文内容来源于网络，仅作为学习用途，如有侵权，请联系作者删除。