【校招笔试真题】简要介绍 Self-Attention 的前沿算法

1. 引言:为什么 Self-Attention 需要持续改进

Self-Attention 是 Transformer 的核心,它让序列中每个 token 都能与所有 token 交互,从而建模长距离依赖。但标准实现存在两个硬伤:

  • 计算与显存复杂度为 O(N²):序列长度翻倍,注意力矩阵规模变为 4 倍,长序列训练极易显存爆炸;
  • 推理时 KV Cache 开销大:自回归生成需要缓存全部历史 K、V,显存占用随上下文线性增长,成为长上下文推理的瓶颈。

围绕这两个痛点,业界从硬件机制、模型架构、位置编码三个方向提出了大量改进算法。下面按这三条主线梳理。

2. 硬件机制优化:FlashAttention

FlashAttention 针对 GPU 的存储层级(HBM 显存与 SRAM 片上缓存)做优化,核心思想是分块计算(Tiling)+ 前向重计算(Recomputation):

  • 将 Q、K、V 切分成小块,逐块加载到 SRAM 中完成注意力计算,避免把完整的 N×N 注意力矩阵写回 HBM;
  • 反向传播时不保存中间注意力矩阵,而是重新计算,用少量额外算力换取大量显存。

效果上,它把注意力部分的内存读写复杂度从 O(N²) 降到 O(N),解决了长序列训练时的显存爆炸问题,同时因为减少了 HBM 访问,实际速度也显著提升。FlashAttention 属于"精确注意力",不改变数学结果,是当前训练与推理的默认基础设施。

3. 架构优化

3.1 MQA(Multi-Query Attention)

标准 MHA 中每个注意力头都有独立的 Q、K、V。MQA 让所有注意力头共享同一组 K 和 V,只保留多头 Q。

  • 推理时 KV Cache 缩小为原来的 1/h(h 为头数),显存占用和访存带宽大幅下降;
  • 生成速度明显加快,适合高并发推理场景;
  • 代价是模型表达能力略有损失,效果通常略逊于 MHA。

3.2 GQA(Grouped-Query Attention)

GQA 是 MQA 与 MHA 的折中:把 Query 头划分为若干组,每组内的 Query 共享一组 K、V。

  • 组数等于头数时退化为 MHA,组数为 1 时退化为 MQA;
  • 在维持接近 MQA 的推理速度的同时,保留了接近 MHA 的模型性能;
  • 目前被 LLaMA 2/3 等主流大模型广泛采用,是工程上性价比最高的方案之一。

3.3 Linear Attention

标准注意力的 softmax 使其无法利用矩阵乘法的结合律。Linear Attention 引入特征映射 φ(·) 替换或近似 softmax 的非线性操作,把注意力写成:

Attention(Q,K,V)=ϕ(Q)(ϕ(K)⊤V)ϕ(Q)(ϕ(K)⊤1) \text{Attention}(Q,K,V) = \frac{\phi(Q)\left(\phi(K)^\top V\right)}{\phi(Q)\left(\phi(K)^\top \mathbf{1}\right)} Attention(Q,K,V)=ϕ(Q)(ϕ(K)⊤1)ϕ(Q)(ϕ(K)⊤V)

利用结合律先算 φ(K)ᵀV,可将序列长度复杂度从 O(N²) 降为 O(N),推理时可维护一个固定大小的状态,天然适合超长序列与流式场景。代价是近似带来的精度损失,在长程精确检索类任务上仍有差距。

3.4 MLA(Multi-head Latent Attention)

MLA 由 DeepSeek 提出,核心是低秩投影压缩 KV:将输入的隐藏状态先投影压缩成一个极低维的共享隐向量(latent vector),推理阶段只需缓存这个压缩向量,计算注意力时再上投影恢复出完整的 K、V。

  • KV Cache 体积大幅压缩,长上下文推理显存显著降低;
  • 相比 MQA/GQA 的"共享"思路,MLA 通过低秩分解保留了更强的表达能力,性能接近甚至优于 MHA。

3.5 DSA(DeepSeek Sparse Attention)

DSA 在 MLA 基础上进一步做稀疏化,采用"先粗筛、后细筛"的两阶段策略:

  1. 粗筛:在计算完整注意力之前,用一个轻量快速的索引器(Indexer)计算当前 Query token 与所有历史 token 的关联度分数;
  2. 细筛:只挑选分数最高的 Top-k 个 token,在这些 token 之间执行完整的注意力计算。

这样有效过滤了无关区域引入的噪声,把注意力计算量从 O(N²) 降到接近 O(N·k),在保持长上下文建模能力的同时大幅降低计算开销。

4. 位置编码优化:RoPE

RoPE(Rotary Position Embedding)通过复数空间的旋转矩阵将绝对位置信息注入到 Q 和 K 的点积运算中:

  • 对 Q、K 按位置角频率进行旋转,使得注意力分数只依赖相对位置差,天然具备相对位置编码的性质;
  • 不引入额外参数,实现简单,且对序列长度有更好的泛化能力;
  • 配合位置插值(PI)、NTK-aware 缩放、YaRN 等技术,可进一步把训练时的短上下文外推到更长上下文。

RoPE 已成为 LLaMA、Qwen、DeepSeek 等主流开源模型的标配位置编码方案。

5. 三类改进对比总结

方向 代表算法 核心思路 主要收益
硬件机制 FlashAttention 分块计算 + 重计算 显存读写 O(N²)→O(N),长序列可训练
架构(KV 共享) MQA / GQA 多头共享 K、V KV Cache 缩小,推理加速
架构(低秩压缩) MLA 低秩投影压缩 KV 长上下文显存大幅降低,性能接近 MHA
架构(稀疏化) DSA 粗筛 + 细筛 Top-k 计算量降至近 O(N·k),过滤噪声
架构(线性化) Linear Attention 特征映射 + 结合律 复杂度降为 O(N),适合超长序列
位置编码 RoPE 旋转矩阵注入位置 相对位置感知,长度泛化更好

6. 面试答题要点

回答这类题时,建议按"问题 → 思路 → 收益 → 代价"的结构展开,并注意以下几点:

  • 先点明 Self-Attention 的两个核心痛点(O(N²) 复杂度、KV Cache 开销),让回答有主线;
  • 区分训练侧优化 (FlashAttention)与推理侧优化(MQA/GQA/MLA/DSA),体现工程视角;
  • 说明各方案的取舍:MQA 快但损性能,GQA 折中,MLA 压缩但需上投影,Linear Attention 快但精度有损;
  • 能补充实际落地情况(如 GQA 用于 LLaMA、MLA/DSA 用于 DeepSeek)会明显加分。
相关推荐
Csvn2 小时前
同一个问题问 100 遍,钱就扣 100 次?精确缓存让它只扣一次(C02)
人工智能·aigc·agent
罗西的思考2 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考2 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习
汤姆宝库3 小时前
BPE分词器的完整实现:字节对合并与词表构建
开发语言·人工智能·c#
岁月宁静3 小时前
从零拆解 AI 语音模拟面试系统
人工智能·python·agent
武子康4 小时前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
可乐ea4 小时前
MCP 和 CLI 差 42 倍:一次 GitHub 任务的上下文成本实测
人工智能·github·工具调用·ai智能体·openrouter·mcp协议·上下文优化
kyriewen5 小时前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能
泯泷5 小时前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent
电科_银尘5 小时前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习