Attention as an RNN

论文地址：

https://arxiv.org/pdf/2405.13956

1. 引言

   • Transformers在序列建模方面的突破
   • Transformers在推理阶段的计算成本问题
   • Aaren模型的目标：保持Transformer性能，同时提高计算效率

2. 背景

   • RNN及其优缺点
   • 注意力机制及其优缺点

3. 方法

   • 将注意力视为RNN，包括计算注意力输出的两种方式
   • 将流行的基于注意力模型视为RNN变体
   • 提出一种基于并行前缀和算法的注意力多对多RNN高效计算方法
   • Aaren模型介绍

4. 实验

   • 在38个数据集上比较Aaren和Transformer的性能和计算效率
   • 结果表明Aaren性能接近Transformer，同时计算效率更高

5. 相关工作

6. 结论

7. RNNs和注意力机制

   • RNNs在序列建模中的优势和局限性
   • 注意力机制的优势和局限性

8. 注意力的RNN视角

   • 将注意力视为RNN，并分析其多对一和多对多RNN输出计算方式
   • 将流行的基于注意力模型视为RNN变体

9. 基于并行前缀和算法的注意力多对多RNN高效计算方法

   • 提出基于并行前缀和算法的注意力多对多RNN高效计算方法

10. Aaren模型

    • Aaren模型的介绍，包括其堆叠方式
    • Aaren模型的训练和推理效率优势

11. Aaren和Transformer的性能和计算效率对比

    • 在38个数据集上对比了Aaren和Transformer的性能和计算效率
    • Aaren模型在性能接近Transformer的同时，具有更高的计算效率

12. 相关工作

    • 相关工作的简要概述

是有附录的论文