RNN,LSTM,GRU,Seq2Seq,Seq2Seqwithattention,transformer

回顾并总结一下RNN,LSTM,GRU,Seq2Seq,Seq2Seqwithattention,transformer的关系的差别

1.RNN:

之前的博客专门总结过,这里提一下它的缺点:

梯度消失/爆炸;只有记忆没有遗忘,数据多了之后抓不到重点;必须逐个单词处理,不能并行处理。

2.LSTM:引入了cell state,就是长时记忆

有三个门,forget/input/output(门的结构:sigmoid+对应点积乘法)

引入了长时记忆,缓解了RNN的梯度消失和长期依赖问题

缺点:句子过长时,还是容易遗忘较远的内容;必须逐个单词处理,不能并行

3.GRU

LSTM的简化版,只有两个门,reset和update,reset控制遗忘和记忆的权重,update表示历史信息遗忘程度。输出也取消了长时记忆cell state,只输出ht

最终ht=(1-zt)*ht-1+zt*h^

优点:参数量比LSTM少,计算更快,更容易训练

缺点:同LSTM

以上这些都无法处理输入一段序列产生不一定长度新序列的任务,所以出现了seq2seq:

由encoder和decoder组成,其中encoder和decoder都是RNN/LSTM/GRU

缺点:句子太长就会产生遗忘,精度会下降,因为每个单词都没有考虑语义信息

又出现了seq2seqwithattention:

在生成每个单词时,从原始句子中提取生成该单词时的最重要信息。

也是由encoder和decoder组成,其中encoder和decoder都是RNN/LSTM/GRU。

只不过encoder传给decoder的不只是第T时刻(最后一个时刻)的hidden state,还有前面所有的hidden state,用所有的hidden state * softmax(hidden state) + 第T时刻的hidden state 作为decoder的输入

缺点:不能并行处理

然后最牛的transformer就诞生了:完全没有用RNN/LSTM/GRU,直接进行并行处理,先提取每个单词在句子中的权重softmax(Q*K/根号下dk),再对V进行加权求和,考虑到了每个句子中单词与单词之间的联系。

由于用的不是RNN,不能利用单词之间的顺序关系,所以需要加入position emb,并且position emb维度要和单词本身的emb相同。

其中还有残差块防止网络退化,让网络专注于当前和之前的差异,再加上LayerNormalization加速收敛、缓解梯度饱和。

在decoder的cross attention层保证了每一个产生的单词都能考虑到encoder的所有信息(Q来自decoder,K和V来自encoder)

PS:decoder的自注意力机制层是带mask的,因为后面的单词还没产生所以不考虑后面的

相关推荐
19892 天前
【零基础学AI】第31讲:目标检测 - YOLO算法
人工智能·rnn·yolo·目标检测·tensorflow·lstm
神仙别闹3 天前
基于Python实现LSTM对股票走势的预测
开发语言·python·lstm
王上上4 天前
【论文阅读41】-LSTM-PINN预测人口
论文阅读·人工智能·lstm
19894 天前
【零基础学AI】第26讲:循环神经网络(RNN)与LSTM - 文本生成
人工智能·python·rnn·神经网络·机器学习·tensorflow·lstm
机器学习之心5 天前
顶级SCI极光优化算法!PLO-Transformer-GRU多变量时间序列预测,Matlab实现
gru·多变量时间序列预测·顶级sci极光优化算法·plo-transformer
m0_678693336 天前
深度学习笔记29-RNN实现阿尔茨海默病诊断(Pytorch)
笔记·rnn·深度学习
24毕业生从零开始学ai6 天前
长短期记忆网络(LSTM):让神经网络拥有 “持久记忆力” 的神奇魔法
rnn·神经网络·lstm
.30-06Springfield8 天前
利用人名语言分类案例演示RNN、LSTM和GRU的区别(基于PyTorch)
人工智能·pytorch·python·rnn·分类·gru·lstm
suixinm17 天前
LSTM、GRU 与 Transformer网络模型参数计算
gru·lstm·transformer
是纯一呀17 天前
融合LSTM与自注意力机制的多步光伏功率预测新模型解析
人工智能·lstm·transformer·预测