我自己做了一个视频，欢迎大家一起探讨：
深度学习有意思的探讨系列------Self-Attention那么为什么要进行缩放呢？ 为什么很大的值，不利于梯度的传播？为什么使用维度的根号来进行缩放？_哔哩哔哩_bilibili
softmax又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是
参考资料：(很详细，能看懂)
transformer中的缩放点积注意力为什么要除以根号d_transformer 根号d-CSDN博客
大模型面试系列-基础面试问题（1） - 知乎 (zhihu.com)
为什么在进行softmax之前需要对attention进行scaled（为什么除以 d_k的平方根）_attention为什么要除以根号d-CSDN博客