在基于 Transformer 架构的 AI 大模型中，注意力机制早已成为了必不可少的核心组件。
但是传统注意力机制在处理长序列数据时存在很多问题。
典型的就是计算复杂度过高，导致在大数据场景中的应用受到很大的限制。
这里说的长序列数据，指的是输出或者输入的文本过长。
举个例子，让AI写一个5000字的作文，相比于写 500 字的作文，那就是输出一个更长序列数据的场景。
为了解决这种长序列数据下传统注意力的问题，"窗口注意力"就出现了。
什么是注意力？
在介绍窗口注意力之前，我们先简单了解一下注意力机制。
当你在阅读一篇文章的时候，你的眼睛会自动聚焦在句子的关键词上，并且还会自动忽略不重要的部分。
这就是人眼或人脑的注意力机制。
而大模型的注意力机制也是模仿了这种行为，让模型在处理数据时"关注"更重要的部分，而不是一视同仁地处理所有信息。
那传统注意力和窗口注意力有什么区别呢？
我们看一个"生成一篇关于周末计划的文章"的场景------
假设我们用AI模型来生成一篇500字的文章，主题是"我的周末计划"。
模型需要根据上下文和提示词生成连贯的句子。
在传统注意力机制下，模型会"全局关注"------
每次生成一个新词时，它都会回顾整篇文章（比如已经生成的499个词），并且计算接下来要生成的词和之前所有词的关系，以模型认为最可能或者最好的词作为接下来的输出。
这个过程可以类比为写日记。
当你写到"周日我要去......"时，你需要停下来，把整篇日记从头到尾读一遍，回忆之前写过的每句话（比如"周六去爬山""周五晚上看电影"），然后决定接下来写什么。
在这个过程中，你的大脑每次都要扫描所有已经写过的词，判断哪些词对接下来要写的内容最重要。
比如，之前写过"爬山"，那么可能是在提示你接下来要写"带水壶"。
但你得花时间把所有写过的词都过一遍。
这，问题就来了。
如果日记很长（比如5000字），每次写下一个词都要回顾整篇，这不就费时费力了吗？
就像你需要翻看前已经写过的10页日记，才能决定接下来要写"去海边"。
效率很低。
而在窗口注意力机制下，模型只关注"附近"的内容------
每次生成新词时，只看最近的几个词（比如前后10个词，这个时候窗口大小为21），而不是整篇文章。
还是以写日记为例子。
当你写到"周日我要去......"时，你只需要快速回顾最近几句（比如"周六去爬山，带了水壶和帽子"），然后根据这些信息决定接下来写什么，比如"周日我要去海边，带上防晒霜"。
这个过程中，你只需要关注最近的10个词就可以了，而不用完整的回顾之前写过的所有内容。
这样，优势不就非常明显了吗。
只看附近的内容，思考范围小了很多，速度快了不少。
这就是传统注意力和窗口注意力的区别。
实际上，窗口注意力是注意力机制的一种优化方式，核心思想是"限制关注范围"。
它不再让模型一次性关注整个输入序列，而是只关注每个输入点附近的一个小范围（称为"窗口"）。
这样，模型的计算量大大减少，效率显著提升。
接下来，我们看看这个优化方法提升的效果有多惊人！
假设你有一串很长的文本，包含1000个单词。
如果用传统注意力机制，模型需要计算1000×1000=100万个关系。
但如果我们使用窗口注意力，只让每个单词关注它前后各10个单词（即窗口大小为21，包括自身），那么每个单词只需要计算21个关系，总计算量降到1000×21=2.1万个。
效率提升了近50倍，是不是挺可怕的。
窗口注意力是一种高效的注意力机制，通过限制关注范围来降低计算复杂度，同时保留了注意力机制的核心优势------"挑重点"。
它就像给模型戴上了一副"局部放大镜"，让它专注于眼前的关键信息，同时保持高效和可扩展性。
实际上，窗口注意力类似于 CV 领域卷积的局部感知能力，而传统注意力更像是全连接。
如果想更好的理解本文，建议阅读以下三篇文：