Seq2Seq - 编码器(Encoder)和解码器(Decoder)

本节实现一个简单的 Seq2Seq(Sequence to Sequence)模型 的编码器(Encoder)和解码器(Decoder)部分。

重点把握Seq2Seq 模型的整体工作流程

理解编码器(Encoder)和解码器(Decoder)代码

本小节引入了nn.GRU API的调用,nn.GRU具体参数将在下一小节进行补充讲解

1. 编码器(Encoder

类定义
复制代码
class Encoder(nn.Module):
    def __init__(self, vocab_size, embedding_dim, hidden_size):
        super().__init__()
        self.emb = nn.Embedding(vocab_size, embedding_dim)
        self.rnn = nn.GRU(embedding_dim, hidden_size, batch_first=True)
  • vocab_size:输入词汇表的大小,即输入序列中可能出现的不同单词或标记的数量。

  • embedding_dim:嵌入层的维度,即每个单词或标记被映射到的向量空间的维度。

  • hidden_size:GRU(门控循环单元)的隐藏状态维度,决定了模型的内部状态大小。

主要组件
  1. 嵌入层(nn.Embedding

    • 嵌入层会将输入序列形状转换为 [batch_size, seq_len, embedding_dim] 的张量。

    • 这种映射是通过学习嵌入矩阵实现的,每个单词索引对应嵌入矩阵中的一行。

  2. GRU(nn.GRU

    • embedding_dim 是 GRU 的输入维度,hidden_size 是隐藏状态的维度。

    • batch_first=True 表示输入和输出的张量的第一个维度是批量大小(batch_size),而不是序列长度(seq_len)。

前向传播(forward
复制代码
def forward(self, x):
    embs = self.emb(x) #batch * token * embedding_dim
    gru_out, hidden = self.rnn(embs) #batch * token * hidden_size

    return gru_out, hidden
  • 输入 x 是一个形状为 [batch_size, seq_len] 的张量,表示一个批次的输入序列。

  • embs 是嵌入层的输出,形状为 [batch_size, seq_len, embedding_dim]

  • gru_out 是 GRU 的输出,形状为 [batch_size, seq_len, hidden_size],表示每个时间步的隐藏状态。

  • hidden 是 GRU 的最终隐藏状态,形状为 [1, batch_size, hidden_size],用于传递给解码器。

2. 解码器(Decoder)

类定义
复制代码
class Decoder(nn.Module):
    def __init__(self, vocab_size, embedding_dim, hidden_size):
        super().__init__()
        self.emb = nn.Embedding(vocab_size, embedding_dim)
        self.rnn = nn.GRU(embedding_dim, hidden_size, batch_first=True)
  • 解码器的结构与编码器类似,但它的作用是将编码器生成的上下文向量(hidden)解码为目标序列。
主要组件
  1. 嵌入层(nn.Embedding

    • 与编码器类似,将目标序列的单词索引映射到嵌入向量。
  2. GRU(nn.GRU

    • 与编码器中的 GRU 类似,但其输入是目标序列的嵌入向量,初始隐藏状态是编码器的最终隐藏状态。
前向传播(forward
复制代码
def forward(self, x, hx):
    embs = self.emb(x)
    gru_out, hidden = self.rnn(embs, hx=hx) #batch * token * hidden_size
    # batch * token * hidden_size
    # 1 * token * hidden_size

    return gru_out, hidden
  • 输入 x 是目标序列的单词索引,形状为 [batch_size, seq_len]

  • hx 是编码器的最终隐藏状态,形状为 [1, batch_size, hidden_size],作为解码器的初始隐藏状态。

  • embs 是目标序列的嵌入向量,形状为 [batch_size, seq_len, embedding_dim]

  • gru_out 是解码器 GRU 的输出,形状为 [batch_size, seq_len, hidden_size]

  • hidden 是解码器 GRU 的最终隐藏状态,形状为 [1, batch_size, hidden_size]

3. Seq2Seq 模型的整体工作流程⭐

  1. 编码阶段

    • 输入序列通过编码器的嵌入层,将单词索引映射为嵌入向量。

    • 嵌入向量通过 GRU,生成每个时间步的隐藏状态和最终的隐藏状态(上下文向量)。

    • 最终隐藏状态(hidden)作为编码器的输出,传递给解码器。

  2. 解码阶段

    • 解码器的初始隐藏状态是编码器的最终隐藏状态。

    • 解码器逐个生成目标序列的单词,每次生成一个单词后,将该单词的嵌入向量作为下一次输入,同时更新隐藏状态。

    • 通过这种方式,解码器逐步生成目标序列。

相关推荐
Gyoku Mint3 分钟前
深度学习×第4卷:Pytorch实战——她第一次用张量去拟合你的轨迹
人工智能·pytorch·python·深度学习·神经网络·算法·聚类
zzywxc7875 分钟前
AI大模型的技术演进、流程重构、行业影响三个维度的系统性分析
人工智能·重构
点控云6 分钟前
智能私域运营中枢:从客户视角看 SCRM 的体验革新与价值重构
大数据·人工智能·科技·重构·外呼系统·呼叫中心
zhaoyi_he14 分钟前
多模态大模型的技术应用与未来展望:重构AI交互范式的新引擎
人工智能·重构
葫三生1 小时前
如何评价《论三生原理》在科技界的地位?
人工智能·算法·机器学习·数学建模·量子计算
m0_751336392 小时前
突破性进展:超短等离子体脉冲实现单电子量子干涉,为飞行量子比特奠定基础
人工智能·深度学习·量子计算·材料科学·光子器件·光子学·无线电电子
美狐美颜sdk5 小时前
跨平台直播美颜SDK集成实录:Android/iOS如何适配贴纸功能
android·人工智能·ios·架构·音视频·美颜sdk·第三方美颜sdk
DeepSeek-大模型系统教程6 小时前
推荐 7 个本周 yyds 的 GitHub 项目。
人工智能·ai·语言模型·大模型·github·ai大模型·大模型学习
有Li6 小时前
通过具有一致性嵌入的大语言模型实现端到端乳腺癌放射治疗计划制定|文献速递-最新论文分享
论文阅读·深度学习·分类·医学生
郭庆汝6 小时前
pytorch、torchvision与python版本对应关系
人工智能·pytorch·python