多头注意力机制的优势是啥，遇到长文本的情况，可以从哪些情况优化呢

首先多头注意力机制的优势，总结为四点或者三点

1. 捕捉多维度的语义特征（表示子空间的多样性）

2. 增强模型的表达能力与稳定性

3. 提高并行计算效率

虽然头数变多了，但每个头的维度（d_{model} / h）变小了。这意味着多头注意力可以在 GPU 上非常高效地进行并行化矩阵运算。

遇到长文本的情况，可以从哪些情况优化呢 ？

可以从以下两个维度 回答：

1. 算法架构优化（减少计算复杂度）

FlashAttention 减少 GPU 显存与计算核心之间的数据交换（HBM vs SRAM），在不改变数学结果的前提下，大幅提升速度并降低显存占用。

稀疏注意力：滑动窗口，只关注当前词附近的窗口，复杂度降低为线性(N)

线性注意力: 改变计算顺序，通过核函数近似，降低为(N)

2,KVcache 管理

GQA、MQA，以及vllm pagedattention 量化