聊聊RNN与seq2seq

seq2seq模型也称为Encoder-Decoder模型。顾名思义,这个模型有两个模块------Encoder(编码器)和Decoder(解码器)。编码器对输入数据进行编码,解码器对被编码的数据进行解码。此时编码器编码的信息浓缩了翻译所必需的信息,解码器基于这个浓缩的信息生成目标文本。

这里的数据一般指时序数据,即按时间顺序记录的数据列,具有可比性和结构化性。

编码器

以RNN为例,设计一个编码器结构如下

编码器利用RNN将时序数据转换为隐藏状态h。这里的RNN使用的是LSTM模型,编码器输出的向量h是LSTM层的最后一个隐藏状态,其中编码了翻译输入文本所需的信息。

解码器

LSTM层会接收编码器层最后隐藏状态输出的向量h。上一个层的输出预测会作为下一个层的输入参数,如此循环下去。

这一分隔符(特殊符号)。这个分隔符被用作通知解码器开始生成文本的信号。另外,解码器采样到 出现为止,所以它也是结束信号。也就是说,分隔符 可以用来指示解码器的"开始/结束"。

整体结构

连接编码器和解码器后的seq2seq整体结构如下,可以看出seq2seq是组合了两个RNN的神经网络。

对于seq2seq序列模型更多解释可看 博客

相关推荐
在学了加油12 小时前
LSTM-糖尿病预测模型优化探索
人工智能·rnn·lstm
Lee_jerome1 天前
python神经网络编程入门(二十五)——IMDB 数据集预处理与词汇表构建
rnn·深度学习·词频统计·文本预处理·imdb数据集·词表构建·nlp入门
技术小黑2 天前
RNN算法实战系列05 | 天气预测
人工智能·rnn·算法
小白说大模型4 天前
人工智能:循环神经网络(RNN)与序列数据处理实战
人工智能·rnn·深度学习
刹那芳华19924 天前
循环神经网络的从零开始实现(RNN)
人工智能·rnn·深度学习
Lee_jerome6 天前
python神经网络编程入门(十七)——RNN BPTT算法(上):梯度沿时间轴传播的链式法则
rnn·深度学习·神经网络·numpy·反向传播·梯度消失·bptt
在学了加油8 天前
LSTM-糖尿病探索与预测
人工智能·rnn·lstm
遥感知识服务10 天前
RNN、LSTM、GRU小白入门:Windows一键运行时间序列预测
rnn·gru·lstm
xx_xxxxx_10 天前
AI基本结构12-lstm实现nlp
人工智能·pytorch·rnn·lstm
m沐沐11 天前
【深度学习】循环神经网络RNN——结构、原理与长期依赖问题解析
人工智能·pytorch·python·rnn·深度学习·算法·机器学习