说说transformer 中的掩码矩阵以及为什么能掩盖住词语

好的,我们从 Transformer 中掩码矩阵(mask matrix) 的定义和作用一步步解释:


1. 为什么要有掩码(mask)

在 Transformer 的 注意力机制 (Attention) 中,每个词会和序列里所有其他词计算相似度(相关性),得到一个加权和作为新的表示。

但是有两个场景需要"掩盖"一些位置的词:

  • Padding Mask(填充掩码)

    输入序列往往被 padding 到相同长度(比如 [the, cat, <PAD>, <PAD>])。
    <PAD> 不是实际的词,不应该参与注意力计算,否则会影响结果。

  • Causal Mask(因果掩码 / Look-ahead Mask)

    自回归(自左到右生成) 的任务里(比如 GPT 语言模型),在预测第 t 个词时,不应该看到未来的词(t+1, t+2, ...)。

    所以需要掩盖"未来"的部分,保证模型不能"作弊"。


2. 掩码矩阵的形式

在注意力计算中有个公式(简化版):

Attention(Q,K,V)=softmax(QKTdk+M)V \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}} + M\right)V Attention(Q,K,V)=softmax(dk QKT+M)V

其中:

  • QKTQK^TQKT 是 query 和 key 的打分矩阵,形状为 [seq_len, seq_len]

  • MMM 是 掩码矩阵,和打分矩阵同维度。

  • 掩码的规则:

    • 需要保留的地方 → M=0M=0M=0
    • 需要屏蔽的地方 → M=−∞M=-\inftyM=−∞(或者一个非常大的负数)

3. 为什么能"掩盖住词语"

核心原因在于 softmax 的性质

softmax(zi)=ezi∑jezj \text{softmax}(z_i) = \frac{e^{z_i}}{\sum_j e^{z_j}} softmax(zi)=∑jezjezi

  • 如果 zi=−∞z_i = -\inftyzi=−∞,则 ezi=0e^{z_i} = 0ezi=0。
  • 所以被掩盖的位置在 softmax 后得到的注意力权重就是 0,完全不会参与后续加权求和。

也就是说,掩码不是"删除词语",而是把它们在注意力中的权重强行压成 0,模型就等于"看不见"这些词。


4. 两种典型掩码矩阵

  1. Padding Mask(屏蔽填充)

    复制代码
    输入: [The, cat, <PAD>, <PAD>]
    掩码矩阵 (对 <PAD> 位置全 -∞):
    [[0, 0, -∞, -∞],
     [0, 0, -∞, -∞],
     [0, 0, -∞, -∞],
     [0, 0, -∞, -∞]]
  2. Causal Mask(防止看未来)

    复制代码
    输入: [I, like, cats]
    掩码矩阵 (下三角保留,上三角掩盖):
    [[ 0, -∞, -∞],
     [ 0,   0, -∞],
     [ 0,   0,   0]]

这样,第 1 个词只能看自己,第 2 个词只能看前 2 个,第 3 个词能看所有过去词,符合自回归生成的逻辑。


✅ 总结一句:
掩码矩阵通过在注意力打分上加上 -∞,使得 softmax 权重为 0,从而屏蔽掉无效或未来的词,让模型只能利用合法的信息。


要不要我帮你画一个 图示,把注意力权重和掩码结合起来直观展示?

相关推荐
数据与人工智能律师4 小时前
数字人民币钱包抉择:匿名自由与实名安全的法律风险评估
大数据·人工智能·python·云计算·区块链
云安全联盟大中华区4 小时前
以美为鉴:构建现代化的核能行业网络安全合规体系--为人工智能革命提供动力
人工智能·安全·web安全
沉默媛4 小时前
扩散模型-图像编辑【An Edit Friendly DDPM Noise Space: Inversion and Manipulations】
人工智能·计算机视觉·cvpr·扩散模型·图像编辑·ddpm
nju_spy5 小时前
2023 美赛C Predicting Wordle Results(上)
人工智能·机器学习·数学建模·数据挖掘·arima·时间序列预测·相关性分析
用户5191495848455 小时前
网络安全工具与社区讨论月报
人工智能·aigc
用户5191495848456 小时前
AWS Direct Connect在菲律宾马卡蒂市推出100G扩展服务
人工智能·aigc
zzywxc7876 小时前
AI工具应用全解析:智能编码、数据标注与模型训练的协同实践
人工智能·算法·信息可视化·自动化·ai编程
CareyWYR6 小时前
每周AI论文速递(250929-251003)
人工智能
da_vinci_x6 小时前
设计稿秒出“热力图”:AI预测式可用性测试工作流,上线前洞察用户行为
前端·人工智能·ui·设计模式·可用性测试·ux·设计师
zezexihaha7 小时前
2025 AI 落地全景:从技术热潮到产业重构
人工智能·重构