掩码注意力 - 掩码注意力技术,学习,经验文章

小易老师AI实战

3 小时前

Transformer掩码注意力机制原理深度解析掩码注意力是标准自注意力的变体，也叫因果注意力，主要用于Transformer解码器以及Decoder‑Only架构大模型。核心约束：计算当前token注意力时，仅允许访问自身与历史位置token，屏蔽序列未来位置的token信息。