注意力机制的诞生：从 Seq2Seq Attention 到注意力的本质在 Transformer 诞生之前，序列建模任务长期依赖 RNN、LSTM、GRU 这类循环结构。循环模型依靠时序逐次迭代完成文本编码，天然存在时序依赖，无法实现并行计算，长距离信息传递过程中还会出现梯度消失问题，当文本序列长度增加，模型很难捕捉相距较远词语之间的关联关系。注意力机制（Attention Mechanism）的提出，正是为了解决循环网络的信息遗忘瓶颈。本章将完整回溯注意力机制的发展脉络，从早期 Seq2Seq 架构的固有缺陷切入，讲解加法注意力、乘法注意力的数学推导，剖析注意力的底层本质