聊聊RNN与seq2seq

seq2seq模型也称为Encoder-Decoder模型。顾名思义,这个模型有两个模块------Encoder(编码器)和Decoder(解码器)。编码器对输入数据进行编码,解码器对被编码的数据进行解码。此时编码器编码的信息浓缩了翻译所必需的信息,解码器基于这个浓缩的信息生成目标文本。

这里的数据一般指时序数据,即按时间顺序记录的数据列,具有可比性和结构化性。

编码器

以RNN为例,设计一个编码器结构如下

编码器利用RNN将时序数据转换为隐藏状态h。这里的RNN使用的是LSTM模型,编码器输出的向量h是LSTM层的最后一个隐藏状态,其中编码了翻译输入文本所需的信息。

解码器

LSTM层会接收编码器层最后隐藏状态输出的向量h。上一个层的输出预测会作为下一个层的输入参数,如此循环下去。

这一分隔符(特殊符号)。这个分隔符被用作通知解码器开始生成文本的信号。另外,解码器采样到 出现为止,所以它也是结束信号。也就是说,分隔符 可以用来指示解码器的"开始/结束"。

整体结构

连接编码器和解码器后的seq2seq整体结构如下,可以看出seq2seq是组合了两个RNN的神经网络。

对于seq2seq序列模型更多解释可看 博客

相关推荐
All The Way North-13 天前
从 Encoder-Decoder 到 Teacher Forcing:Seq2Seq 机器翻译的完整原理与实现细节全解析
机器翻译·注意力机制·encoder-decoder·seq2seq·自回归模型·teacher forcing·计划采样
weixin_4481199416 天前
Datawhale 大模型算法全栈基础篇 202602第3次笔记
笔记·rnn·算法
Dev7z18 天前
原创论文:基于LSTM的共享单车需求预测研究
人工智能·rnn·lstm
All The Way North-18 天前
【LSTM系列·终篇】PyTorch nn.LSTM 终极指南:从API原理到双向多层实战,彻底告别维度错误!
pytorch·rnn·lstm·多层lstm·api详解·序列模型·双向lstm
Dev7z18 天前
基于LSTM的共享单车需求预测研究
人工智能·rnn·lstm
Clarence Liu22 天前
用大白话讲解人工智能(8) 循环神经网络(RNN):AI怎么“听懂“语音
人工智能·rnn·深度学习
软件算法开发23 天前
基于火烈鸟搜索算法的LSTM网络模型(FSA-LSTM)的一维时间序列预测matlab仿真
人工智能·rnn·matlab·lstm·一维时间序列预测·火烈鸟搜索算法·fsa-lstm
liu****24 天前
3.RNN及其变体
人工智能·python·rnn·深度学习
All The Way North-1 个月前
【LSTM系列·第三篇】单样本 vs Batch:LSTM全流程计算对比,彻底搞懂为何 h_t 与 c_t 维度必须相同
pytorch·rnn·深度学习·神经网络·lstm·序列模型·理论与工程
guygg881 个月前
LSTM工具箱的详细说明及实现
人工智能·rnn·lstm