Transformer 大语言模型（LLM）基石 - Transformer架构详解 - 残差连接（Residual Connection）详解以及算法实现

锋哥原创的Transformer 大语言模型（LLM）基石视频教程：

https://www.bilibili.com/video/BV1X92pBqEhV

课程介绍

本课程主要讲解Transformer简介，Transformer架构介绍，Transformer架构详解，包括输入层，位置编码，多头注意力机制，前馈神经网络，编码器层，解码器层，输出层，以及Transformer Pytorch2内置实现，Transformer基于PyTorch2手写实现等知识。

Transformer 大语言模型（LLM）基石 - Transformer架构详解 - 残差连接（Residual Connection）详解以及算法实现

在深层网络中，随着网络深度的增加，梯度在反向传播时容易消失或爆炸，导致网络难以训练。为了解决这个问题，Transformer采用了残差连接，即将每一层的输入与该层的输出进行相加，而不是直接使用该层的输出。

形式：

这种连接方式保证了在网络初期，若子层变换的结果接近于零，则输出与输入相同，从而缓解了深度神经网络中梯度消失的问题。

优点：

恒等映射：使得网络能容易地学习到恒等映射，即如果某一层的变换没有效果，模型可以跳过该层。
梯度流畅：在反向传播时，梯度可以通过残差连接直接传递，避免了梯度消失的问题。

代码实现：

复制代码

# 实现残差连接
class ResidualConnection(nn.Module):

    def __init__(self, d_model, dropout=0.1):
        # d_model 词嵌入维度 512 dropout 随机丢失率
        super().__init__()
        self.norm = LayerNorm(features=d_model)
        self.dropout = nn.Dropout(dropout)

    def forward(self, x, sublayer):
        """
        前向传播
        参数:
            x: 输入张量 [batch_size, seq_len, d_model]
            sublayer: 残差连接的子层  多头自注意力机制，或者来自前馈神经网络
        返回:
            残差连接后的张量
        """
        return x + self.dropout(self.norm(sublayer(x)))


if __name__ == '__main__':
    vocab_size = 2000  # 词表大小
    embedding_dim = 512  # 词嵌入维度的大小
    embeddings = Embeddings(vocab_size, embedding_dim)
    embed_result = embeddings(
        torch.tensor([[1999, 2, 99, 4, 5], [66, 2, 3, 22, 5], [66, 2, 3, 4, 5]]))
    print("embed_result.shape:", embed_result.shape)
    print("embed_result", embed_result)

    positional_encoding = PositionalEncoding(embedding_dim)
    result = positional_encoding(embed_result)
    print("result:", result)
    print("result.shape:", result.shape)

    # 测试自注意力机制
    # query = key = value = result
    # mask = create_sequence_mask(5)
    # dropout = nn.Dropout(0.1)
    # attention_output, attention_weights = self_attention(query, key, value, mask, dropout)
    # print("attention_output.shape:", attention_output.shape)  # [3, 5, 512]
    # print("attention_weights.shape:", attention_weights.shape)  # [3, 5, 5]
    mha = MultiHeadAttention(d_model=512, num_heads=8)
    # print(mha)
    mask = create_sequence_mask(5)
    # 定义匿名函数
    sublayer = lambda x: mha(x, x, x, mask)
    # 测试残差连接
    rc = ResidualConnection(d_model=512)
    result_rc = rc(result, sublayer)
    print("result_rc.shape:", result_rc.shape)

运行输出：