CV领域 交叉注意力(Cross Attention)中QKV的含义理解

交叉注意力公式:

注意力的输入:

(1)K=V:图像的全局特征

(2)Q:告诉attention需要关注哪些重要特征

公式计算过程理解:

(1):Q和K相乘,对应Query和Key进行点积运算,得到的是Query和Key之间的相似性

(2):再用Key向量的维度进行scaling,即将计算得到的相似度矩阵维度,缩放 到与K=V相同尺度

(3):对相似度权重矩阵进行归一化,即Q中任一元素与K的每个元素相似度权重之和都为1;

可以得到一个权重系数矩阵 ,这个系数矩阵代表在图像特征上重要特征的强弱程度(重要特征是Q所提供的);

(4):将重要特征的强弱程度权重系数矩阵施加到图像特征V上,得到最终的带有注意力权重分布的图像特征 ,在特征图V上属于Q的特征会被加强,不属于Q的特征会被减弱

相关推荐
惯导马工19 小时前
【论文导读】ORB-SLAM3:An Accurate Open-Source Library for Visual, Visual-Inertial and
深度学习·算法
Juchecar19 小时前
一文讲清 PyTorch 中反向传播(Backpropagation)的实现原理
人工智能
黎燃19 小时前
游戏NPC的智能行为设计:从规则驱动到强化学习的演进
人工智能
机器之心20 小时前
高阶程序,让AI从技术可行到商业可信的最后一公里
人工智能·openai
martinzh20 小时前
解锁RAG高阶密码:自适应、多模态、个性化技术深度剖析
人工智能
机器之心20 小时前
刚刚,李飞飞空间智能新成果震撼问世!3D世界生成进入「无限探索」时代
人工智能·openai
scilwb20 小时前
Isaac Sim机械臂教程 - 阶段1:基础环境搭建与机械臂加载
人工智能·开源
舒一笑20 小时前
TorchV企业级AI知识引擎的三大功能支柱:从构建到运营的技术解析
人工智能
掘金酱20 小时前
🎉 2025年8月金石计划开奖公示
前端·人工智能·后端
鹏多多21 小时前
纯前端人脸识别利器:face-api.js手把手深入解析教学
前端·javascript·人工智能