【大模型面试八股 1】Transformer注意力机制：MHA、MQA、GQA、MLA原理解析与对比在自然语言处理（NLP）、计算机视觉（CV）等领域的突破性进展中，Transformer架构作为核心模型之一，已经成为众多任务的标准框架。然而，随着模型规模的持续增长，传统的多头注意力机制（MHA）在计算效率和内存消耗方面逐渐暴露出瓶颈。为了解决这些问题，研究者提出了新型的注意力机制，如多查询注意力（MQA）、分组查询注意力（GQA）和多头潜在注意力（MLA），它们通过不同的优化策略提升了Transformer的效率。