Attention计算中的各个矩阵的维度都是如何一步步变化的?

在Transformer模型中,各个矩阵的维度变化是一个关键的过程,涉及到输入、编码器、解码器和输出等多个阶段。以下是详细的维度变化过程:

输入阶段

  • 输入序列 :假设输入序列的长度为seq_len,每个单词或标记通过词嵌入(word embedding)转换为一个固定维度的向量,维度为d_model。因此,输入矩阵的维度为(seq_len, d_model)。
  • 位置编码 :位置编码(Positional Encoding)通常与词嵌入向量相加,以提供序列中每个单词的位置信息。位置编码的维度与词嵌入相同,即(seq_len, d_model)。

编码器(Encoder)阶段

  • 多头注意力机制(Multi-Head Attention):

    • 查询(Q)、键(K)、值(V)矩阵 :输入矩阵与权重矩阵相乘得到Q、K、V矩阵。假设每个头的维度为d_k(通常d_k = d_model / num_heads),则Q、K、V的维度为(seq_len, d_k)。
    • 注意力计算 :Q与K的转置相乘,得到一个注意力得分矩阵,维度为(seq_len, seq_len)。经过softmax处理后,再与V相乘,得到输出矩阵,维度为(seq_len, d_k)。
    • 多头拼接 :将所有头的输出拼接或平均,得到最终的输出矩阵,维度为(seq_len, d_model)。
  • 前馈神经网络(Feed-Forward Network):

    • 输入矩阵经过两个线性变换和非线性激活函数,最终输出的维度保持为(seq_len, d_model)。

解码器(Decoder)阶段

  • 掩码多头注意力机制(Masked Multi-Head Attention):

    • 类似于编码器中的多头注意力机制,但使用了掩码来防止解码器在生成时"偷看"未来的信息。输出矩阵的维度为(seq_len, d_model)。
  • 编码器-解码器注意力机制:

    • 解码器的查询(Q)与编码器的键(K)和值(V)进行注意力计算,输出矩阵的维度为(seq_len, d_model)。

输出阶段

  • 线性层和Softmax :
    • 解码器的输出经过一个线性层,将维度从(seq_len, d_model)转换为(seq_len, vocab_size),其中vocab_size是词汇表的大小。
    • 最后通过Softmax层,得到每个单词的概率分布,用于预测下一个单词。

这些维度变化确保了Transformer模型能够有效地处理序列数据,并在各个层之间传递和转换信息。

相关推荐
VIP_CQCRE7 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷8 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我9 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁019 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
β添砖java9 小时前
NLP自然语言处理4:迁移学习:fasttext工具,训练词向量、词向量迁移、迁移学习概念、NLP中常用预训练模型、transformer库使用、迁移学习实践
自然语言处理·transformer·迁移学习
Csvn9 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄10 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下11 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码11 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下11 小时前
langgraph 全栈项目(二)
前端·人工智能·后端