多头注意力机制是 Transformer 架构的核心组件 ，是对单头缩放点积注意力的优化升级。其本质是通过多组独立的特征投影与并行注意力计算 ，让模型同时捕捉输入序列在不同维度、不同位置的语义关联，从而突破单头注意力的表达局限，提升模型对复杂序列的理解能力。
核心步骤（原理+面试细节）
多头注意力的计算流程可分为拆分→并行计算→拼接融合三步，每一步都对应关键的设计逻辑与面试考点。
步骤一：Q/K/V 矩阵拆分与多组投影
单头注意力仅用一组线性层对输入的 Query（查询）、Key（键）、Value（值）进行投影，而多头注意力通过多组独立线性层实现特征的多维度分解。
- 基础投影 ：输入的 Q、K、V 矩阵维度均为 [seq_len,dmodel][seq\len, d{model}][seq_len,dmodel]（seq_lenseq\lenseq_len 为序列长度，dmodeld{model}dmodel 为模型隐藏层维度）。通过 3 组独立的线性层 （无激活函数）分别对 Q、K、V 进行投影，得到新的 Q、K、V 矩阵，维度仍为 [seq_len,dmodel][seq\len, d{model}][seq_len,dmodel]。 面试补充：线性层的作用是特征空间映射，而非简单维度变换，目的是让 Q/K/V 学习到更适合注意力计算的特征表示，避免原始输入特征的冗余。
- 多头拆分 ：将投影后的 Q、K、V 矩阵沿**最后一个维度（dmodeld_{model}dmodel 维度）**均匀拆分为 hhh 个头（head）。每个头对应的维度为 dk=dmodel/hd_k = d_{model}/hdk=dmodel/h（需满足 dmodeld_{model}dmodel 能被 hhh 整除）。拆分后，每个头的 Q、K、V 维度变为 [seq_len,dk][seq\_len, d_k][seq_len,dk]，整体形成 hhh 组独立的 Q、K、V 子集。
- 面试高频问题 1：拆分的核心目的是什么？
- 降低单头注意力的计算复杂度：拆分前单头注意力的时间复杂度为 O(n2⋅dmodel)O(n^2 \cdot d_{model})O(n2⋅dmodel)（nnn 为 seq_lenseq\lenseq_len）；拆分后每个头的复杂度为 O(n2⋅dk)=O(n2⋅dmodel/h)O(n^2 \cdot d_k) = O(n^2 \cdot d{model}/h)O(n2⋅dk)=O(n2⋅dmodel/h)，单头计算压力大幅降低。
- 实现多粒度语义捕捉：不同的头会关注输入序列的不同语义维度。例如在机器翻译任务中，有的头关注"单词的对应关系"，有的头关注"句子的语法结构"，有的头关注"上下文的逻辑关联"。
步骤二：多组注意力并行计算
这一步是多头注意力的核心创新，通过并行计算 兼顾效率与效果，核心是对每组 Q、K、V 子集独立计算缩放点积注意力。
- 单头注意力计算 ：对第 iii 个头的 Qi,Ki,ViQ_i, K_i, V_iQi,Ki,Vi，执行缩放点积注意力公式：
Attention(Qi,Ki,Vi)=softmax(Qi⋅KiTdk)⋅Vi\text{Attention}(Q_i, K_i, V_i) = \text{softmax}\left(\frac{Q_i \cdot K_i^T}{\sqrt{d_k}}\right) \cdot V_iAttention(Qi,Ki,Vi)=softmax(dk Qi⋅KiT)⋅Vi
计算得到的单头注意力输出维度为 [seq_len,dk][seq\_len, d_k][seq_len,dk]。 - 全并行计算 ：hhh 个头的注意力计算过程完全独立、并行执行 ，无需等待其他头的结果。 面试补充：并行性是 Transformer 优于 RNN 的关键之一，多头注意力的并行计算可以充分利用 GPU 的并行算力，大幅提升训练速度。
- 面试高频问题 2：为什么要除以 dk\sqrt{d_k}dk （缩放因子的作用）？
- 解决内积结果溢出导致的梯度问题 ：当 dkd_kdk 较大时，Qi⋅KiTQ_i \cdot K_i^TQi⋅KiT 的内积结果会变得很大。此时 softmax 函数会将输出推向 0 或 1 的饱和区，导致函数梯度趋近于 0（梯度消失）或异常增大（梯度爆炸），模型难以收敛。
- 缩放因子 dk\sqrt{d_k}dk 可以将内积结果的方差归一化到 1 附近，让 softmax 输出处于梯度敏感的区域，保证模型的训练稳定性。
步骤三：多头结果拼接与特征融合
并行计算得到的 hhh 组注意力输出是独立的，需要通过拼接与融合形成最终的统一特征。
- 多头拼接 ：将 hhh 个头的注意力输出（每个维度为 [seq_len,dk][seq\_len, d_k][seq_len,dk]）在**最后一个维度（dkd_kdk 维度）**进行拼接，得到维度为 [seq_len,h⋅dk]=[seq_len,dmodel][seq\_len, h \cdot d_k] = [seq\len, d{model}][seq_len,h⋅dk]=[seq_len,dmodel] 的拼接矩阵。
- 线性融合 ：通过一个全局线性层 对拼接矩阵进行投影，输出最终的多头注意力结果，维度保持 [seq_len,dmodel][seq\len, d{model}][seq_len,dmodel]。 面试高频问题 3：拼接后为什么还要加一个线性层？
不同头的注意力特征是独立计算的，线性层的作用是学习头与头之间的特征关联，将分散的多维度语义信息融合为统一的、更具表达力的特征表示，而非简单的特征拼接。若缺少该线性层，多头的优势会大打折扣。
核心优势（对比单头注意力+面试话术）
单头注意力只能捕捉输入序列的单一维度语义关联，而多头注意力通过"分而治之"的策略，在不显著增加整体复杂度的前提下，实现了效果的质的飞跃，优势体现在三个核心方面：
-
多粒度语义捕捉能力
不同头聚焦于序列的不同语义维度，既能捕捉局部的单词依赖（如"形容词-名词"搭配），也能捕捉全局的上下文关联（如长距离的指代关系），让模型对序列的理解更全面。
面试话术：多头注意力相当于给模型配备了"多副眼镜"，每副眼镜能看到序列的一个侧面，组合起来就能还原更完整的语义图景。
-
显著提升模型表达能力
单头注意力容易陷入"局部最优"，只能关注到有限的语义信息；而多头注意力通过特征互补，避免了单头的表达局限，让模型能够学习到更复杂的序列模式。
-
计算效率与效果的均衡
从整体复杂度来看，多头注意力的总复杂度为 h⋅O(n2⋅dk)=h⋅O(n2⋅dmodel/h)=O(n2⋅dmodel)h \cdot O(n^2 \cdot d_k) = h \cdot O(n^2 \cdot d_{model}/h) = O(n^2 \cdot d_{model})h⋅O(n2⋅dk)=h⋅O(n2⋅dmodel/h)=O(n2⋅dmodel)，与单头注意力完全一致 。这意味着多头注意力是"无额外复杂度代价的效果升级"，完美平衡了效率与性能。
面试高频追问与标准答案
追问 1：实际项目中，头数 hhh 和单头维度 dkd_kdk 一般怎么设置？
- dkd_kdk 的最优值 ：实验验证 dk=64d_k=64dk=64 是最优取值。当 dk<64d_k<64dk<64 时，单头的特征维度不足，无法捕捉足够的语义信息，模型容易欠拟合；当 dk>64d_k>64dk>64 时，内积结果的方差会快速增大，缩放因子的归一化效果减弱，模型训练难度提升。
- hhh 的取值规则 ：需满足 dmodel=h⋅dkd_{model}=h \cdot d_kdmodel=h⋅dk。
- 当 dmodel=512d_{model}=512dmodel=512 时，h=8h=8h=8（512=8×64512=8×64512=8×64）；
- 当 dmodel=1024d_{model}=1024dmodel=1024 时，h=16h=16h=16（1024=16×641024=16×641024=16×64）；
- 面试延伸 ：如果 hhh 过小，相当于减少了"语义视角"的数量，模型退化为近似单头注意力；如果 hhh 过大，每个头的 dkd_kdk 会被压缩，导致单头特征表达能力不足，模型同样会欠拟合。
追问 2：多头注意力和自注意力的关系是什么？
- 自注意力（Self-Attention）是注意力机制的一种应用场景，指 Q、K、V 来自同一输入序列，用于捕捉序列内部的位置关联；
- 多头注意力是自注意力的实现方式 ，可以理解为"多组自注意力的并行组合"。Transformer 中的自注意力层，本质就是多头自注意力层。
追问 3：多头注意力的并行性在工程上如何实现？
在代码实现中（如 PyTorch），会将 Q、K、V 矩阵的维度转换为 [batch_size,h,seq_len,dk][batch\_size, h, seq\_len, d_k][batch_size,h,seq_len,dk]，利用矩阵运算的广播机制和 GPU 的并行计算能力，一次性完成所有头的注意力计算，无需循环遍历每个头，极大提升了运行效率。