简述循环神经网络RNN

1.why RNN

CNN：处理图像之间没有时间/先后关系

RNN：对于录像，图像之间也许有时间/先后顺序，此时使用CNN效果不会很好，同理和人类的语言相关的方面时间顺序就更为重要了

2.RNN和CNN之间的关联

RNN和CNN本质上其实一致，只是RNN中多了一些权重（W,U）的计算，而且这些线性运算之间都是加法。这些额外的权重虽然使得矩阵的运算变大了，但是并没有使得问题变得特别复杂。也正是由于这些被额外使用的信号，使得我们能够处理序列的问题。

3.RNN由于增加条件产生的问题

• 梯度爆炸（表现出模型的不稳定、不鲁棒）
• 梯度消失（出现更多，随着连乘的出现不可避免的出现梯度消失）
  • 有时也许并不是LSTM可以减少梯度消失，使得训练变好，只是提出者的故事讲得好。
  • LSTM（提出类似ResNet的暂存单元形式）
    • 类似电子控制的思想（加门 -- 权重），使得记忆不要一直保存，需要的记忆知识多一些，门就开都大一些（权重值给大一些）；需要记忆小一些，门就小一点（权重值小一点）；甚至不需要记忆的时候权值为0--关门。
    • 我们也可以在其他领域算法中加一些门来放大哪些内容，阻挡那些内容。
    • 同时我们也要考虑添加了一些内容之后，模型是否还能够计算，能否解释。
  • GRU
    • 对LSTM的一些简化
    • 两个方法的比较研究也许已经被很多博客或者其他人研究过了，所以完成的模型比较研究不是很好做。