transfomer中attention为什么要除以根号d_k

简介

得到矩阵 Q, K, V之后就可以计算出 Self-Attention 的输出了,计算的公式如下:
A t t e n t i o n ( Q , K , V ) = S o f t m a x ( Q K T d k ) V Attention(Q,K,V)=Softmax(\frac{QK^T}{\sqrt{d_k}})V Attention(Q,K,V)=Softmax(dk QKT)V

好处

除以维度的开方,可以将数据向0方向集中,使得经过softmax后的梯度更大.

从数学上分析,可以使得QK的分布和Q/K保持一致,

推导

对于两个独立的正态分布而言,两者的加法的期望和方差就是两个独立分布的期望和方差。

qk_T的计算过程为[len_q,dim][dim,len_k]=[len_q,len_k],qk的元素等于dim个乘积的和。对于0-1分布表乘积不会影响期望和方差,但是求和操作会使得方差乘以dim,因此对qk元素除以sqrt(dim)把标准差压回1.

这里展示一个不严谨的采样可视化过程

假设在query在(0,1)分布,key在(0,1)分布,随机采样lengthdim个点,然后统计querykey_T的散点的分布

cpp 复制代码
import math
import numpy as np
import matplotlib.pyplot as plt


def plot_curve(mu=0, sigma =1):
    import numpy as np
    import matplotlib.pyplot as plt
    from scipy.stats import norm
    # 设置正态分布的参数
    # mu, sigma = 0, 1  # 均值和标准差
    # 创建一个x值的范围,覆盖正态分布的整个区间
    x = np.linspace(mu - 4 * sigma, mu + 4 * sigma, 1000)
    # 计算对应的正态分布的概率密度值
    y = norm.pdf(x, mu, sigma)
    # 我们可以选择y值较高的点来绘制散点图,以模拟概率密度的分布
    # 这里我们可以设置一个阈值,只绘制y值大于某个值的点
    threshold = 0.01  # 可以根据需要调整这个阈值
    selected_points = y > threshold
    plt.plot(x, y, 'r-', lw=2, label='Normal dist. (mu={}, sigma={})'.format(mu, sigma))
    plt.title('Normal Distribution Scatter Approximation')
    plt.xlabel('Value')
    plt.ylabel('Probability Density')
    plt.legend()
    plt.grid(True)
    plt.show()

def plot_poins(x):
    # 因为这是一个一维的正态分布,我们通常只绘制x轴上的点
    # 但为了模拟二维散点图,我们可以简单地将y轴设置为与x轴相同或固定值(例如0)
    y = np.zeros_like(x)
    # 绘制散点图
    plt.figure(figsize=(8, 6))
    plt.scatter(x, y, alpha=0.5)  # alpha控制点的透明度
    plt.title('Normal (0, 1) Distribution Scatter Plot')
    plt.xlabel('Value')
    plt.ylabel('Value (or Frequency if binned)')
    plt.grid(True)
    plt.show()



if __name__ == '__main__':
    # 设置随机种子以便结果可复现
    np.random.seed(0)
    len = 10000
    dim = 100
    query = np.random.normal(0, 1, len*dim).reshape(len,dim)
    key = np.random.normal(0, 1, len*dim).reshape(dim,len)
    qk = np.matmul(query,key) / math.sqrt(dim)

    mean_query = query.mean()
    std_query = np.std(query,ddof=1)

    mean_key = key.mean()
    std_key = np.std(key,ddof=1)

    mean_qk = qk.mean()
    std_qk = np.std(qk,ddof=1)

    plot_poins(query)
    plot_curve(mean_query,std_query)
相关推荐
Genevieve_xiao1 天前
【dl】python基础 深度学习中需要用到的python基础
python·深度学习
茜茜西西CeCe1 天前
数字图像处理-巴特沃斯高通滤波、低通滤波
图像处理·opencv·计算机视觉·matlab·巴特沃斯高通滤波·巴特沃斯低通滤波
天天爱吃肉82181 天前
【比亚迪璇玑架构深度解析:重新定义智能电动汽车的“整车智能”】
数据库·人工智能·嵌入式硬件·架构·汽车
semantist@语校1 天前
第十九篇|东京世界日本语学校的结构数据建模:制度函数、能力矩阵与升学图谱
数据库·人工智能·线性代数·矩阵·prompt·github·数据集
guygg881 天前
HOG + SVM 行人检测
人工智能·机器学习·支持向量机
和鲸社区1 天前
四大经典案例,入门AI算法应用,含分类、回归与特征工程|2025人工智能实训季初阶赛
人工智能·python·深度学习·算法·机器学习·分类·回归
IT古董1 天前
【第五章:计算机视觉】1.计算机视觉基础-(3)卷积神经网络核心层与架构分析:卷积层、池化层、归一化层、激活层
人工智能·计算机视觉·cnn
黎燃1 天前
AI生成音乐的创作逻辑深析:以AIVA为例
人工智能
点云SLAM1 天前
四元数 (Quaternion)在位姿(SE(3))表示下的各类导数(雅可比)知识(2)
人工智能·线性代数·算法·机器学习·slam·四元数·李群李代数
七芒星20231 天前
ResNet(详细易懂解释):残差网络的革命性突破
人工智能·pytorch·深度学习·神经网络·学习·cnn