自注意力机制（Self-Attention）是Transformer模型的核心组件，其中Q、K、V矩阵分别代表查询（Query）、键（Key）、值（Value）。它们的作用和含义可以通过信息匹配过程来理解。在自注意力机制中，输入的序列数据会经过线性变换，生成这三个矩阵，然后用于计算注意力权重和最终输出。
1. Q（Query）--- 查询矩阵
- 含义：查询矩阵代表我们当前正在处理的一个输入位置上的信息，目的是从整个序列中寻找与该位置最相关的信息。换句话说，Q 矩阵中的每个向量（对应于序列中的每个单词或元素）用于"提问"：我应该关注哪些位置的信息？
- 作用：Q 矩阵的每一行对应序列中一个输入向量（通常是词向量或某一层的隐状态），这些向量在后续计算中会与 K（键）矩阵进行相似度计算，以确定应该关注序列中的哪些部分。
2. K（Key）--- 键矩阵
- 含义：键矩阵用于提供序列中的信息，以供查询矩阵进行匹配。可以理解为K矩阵中存储了"回答"的潜在信息，代表整个序列中每个位置上携带的特征。
- 作用：K矩阵的每个向量对应序列中的一个元素，当 Q（查询）矩阵与 K（键）矩阵进行点积计算时，会得出它们的相似度评分，这个评分表明查询在当前时刻应该关注该元素的程度。
3. Q（Query）--- 查询矩阵
- 含义：值矩阵代表序列中的实际信息内容，它是自注意力机制最终返回给每个查询的信息来源。
- 作用：V 矩阵不会直接参与相似度计算，但在相似度计算得到的注意力权重矩阵确定后，V 矩阵的值会被加权求和，最终返回每个查询所关注的内容。V 矩阵提供的是实际的数据，经过加权后输出结果。
4. 简单类比
可以把 Q、K、V 机制类比为一个信息检索过程
- Q（查询）：类似我们提出的搜索问题，目的是从大量信息中寻找相关答案。
- K（键）：类似信息库中的索引，它们决定哪些信息与查询相关。
- V（值）：类似实际的内容，是查询找到相关信息后的返回结果。
Q 用来提出问题，K 用来匹配相关性，V 则是我们最终希望获取的信息
5. 注意力分数含义
计算公式为： A t t e n t i o n ( Q , K , V ) = s o f t m a x ( Q ⋅ K T d k ) V Attention(Q,K,V)=softmax(\frac{Q·K^T}{\sqrt{d_k}})V Attention(Q,K,V)=softmax(dk Q⋅KT)V（Q 与K 的转置做内积，再除以K 的维度，经过softmax 归一化，最后与V 相乘。Q,K,V 皆为矩阵）
- Q ∗ K T Q*K^T Q∗KT：两个矩阵点乘，数学上也叫做内积------表征两个向量夹角的大小（投影的大小），也就是相关性大小；
- / d K /\sqrt{d_K} /dK ： d K d_K dK是键向量的维度，用来进行缩放平衡，防止点积值过大；
- s o f t m a x ( ) softmax() softmax()：归一化；
- ∗ V *V ∗V：将注意力权重与值矩阵 V V V 进行加权求和，得到注意力分数;
注意力分数含义：Q 和 K 之间的相关性决定了哪些值（V）对当前查询的Q有较高的贡献，帮助模型在聚焦Q的问题时，给更多的注意力在有用的V身上。