RNN、LSTM、Transformer推荐博文

最近在了解RNN、LSTM、transformer的相关原理，看了一些博文，下面做一点记录，以方便自己或者感兴趣的朋友查阅。

如果后续看到别的好的，也可能会更新或者添加在评论里。

RNN：
1.【循环神经网络(RNN)从零开始完整教程】

里面有个小实践，正弦波序列预测。代码格式非常规范，很容易理解。

使用pytorch实现

从基础到稍微深一点的应用，都给出了一些小实践。

使用tensorflow实现

对语句解释十分详细，文中提到的文章也都很不错，有空可以看看。

使用pytorch实现了对航线的预测。

代码中，有个画3D图的环节，如果不能正常画出3D图，需要把这句话ax = Axes3D(fig) 改成ax = fig.add_subplot(111, projection='3d') ，原语句出问题的原因是，matplotlib新版的用法更加规范

另，plt画图需要用到中文时，记得下中文文字库，不然容易显示错误。要不直接title、label之类全部用英文。

这个网站（名叫菜鸟教程）还蛮推荐的，还有很多其他资源。

这篇里面对结构的解释蛮简介的，基本结构形式的代码也有基本展示。要是结构图能有图示就更好了。

LSTM：

LSTM是在RNN基础上，为了解决梯度消失和爆炸的问题，主要引入输入门、遗忘门、输出门。RGU则是对LSTM的简化
1.一个很有名的blog

介绍LSTM基本原理的blog

对参数的维度、语句等有一个较好的解释

Transformer：
1.【超详细】【原理篇&实战篇】一文读懂Transformer

这篇博文的参考文章也非常多，建议可以看看。

非常详细，有的不懂的，可以边看边搜，代码过一遍，理解会好很多。

这个作者在他别的博文里，还写了一些实践，有时间可以试试。