1.why RNN
CNN：处理图像之间没有时间/先后关系
RNN：对于录像，图像之间也许有时间/先后顺序，此时使用CNN效果不会很好，同理和人类的语言相关的方面时间顺序就更为重要了
2.RNN和CNN之间的关联
RNN和CNN本质上其实一致，只是RNN中多了一些权重（W,U）的计算，而且这些线性运算之间都是加法。这些额外的权重虽然使得矩阵的运算变大了，但是并没有使得问题变得特别复杂。也正是由于这些被额外使用的信号，使得我们能够处理序列的问题。
3.RNN由于增加条件产生的问题
- 梯度爆炸（表现出模型的不稳定、不鲁棒）
- 梯度消失（出现更多，随着连乘的出现不可避免的出现梯度消失）
- 有时也许并不是LSTM可以减少梯度消失，使得训练变好，只是提出者的故事讲得好。
- LSTM（提出类似ResNet的暂存单元形式）
- 类似电子控制的思想（加门 -- 权重），使得记忆不要一直保存，需要的记忆知识多一些，门就开都大一些（权重值给大一些）；需要记忆小一些，门就小一点（权重值小一点）；甚至不需要记忆的时候权值为0--关门。
- 我们也可以在其他领域算法中加一些门来放大哪些内容，阻挡那些内容。
- 同时我们也要考虑添加了一些内容之后，模型是否还能够计算，能否解释。
- GRU
- 对LSTM的一些简化
- 两个方法的比较研究也许已经被很多博客或者其他人研究过了，所以完成的模型比较研究不是很好做。