注意力机制全家桶:从 Multi-Head 到 GQA 再到 Flash Attention 的手写实现2017年,Google 在 "Attention Is All You Need" 中提出了 Transformer 架构,其中 Multi-Head Attention(多头注意力)是核心组件。此后七年时间里,注意力机制经历了多次重要的演进:从最初的 Scaled Dot-Product Attention 到 Multi-Head Attention(MHA),再到 Multi-Query Attention(MQA)、Grouped Query Attention(GQA)、Flash Atten