CV领域 交叉注意力(Cross Attention)中QKV的含义理解

交叉注意力公式:

注意力的输入:

(1)K=V:图像的全局特征

(2)Q:告诉attention需要关注哪些重要特征

公式计算过程理解:

(1):Q和K相乘,对应Query和Key进行点积运算,得到的是Query和Key之间的相似性

(2):再用Key向量的维度进行scaling,即将计算得到的相似度矩阵维度,缩放 到与K=V相同尺度

(3):对相似度权重矩阵进行归一化,即Q中任一元素与K的每个元素相似度权重之和都为1;

可以得到一个权重系数矩阵 ,这个系数矩阵代表在图像特征上重要特征的强弱程度(重要特征是Q所提供的);

(4):将重要特征的强弱程度权重系数矩阵施加到图像特征V上,得到最终的带有注意力权重分布的图像特征 ,在特征图V上属于Q的特征会被加强,不属于Q的特征会被减弱

相关推荐
CodeJourney.4 分钟前
ChemBlender:科研绘图创新解决方案
数据库·人工智能·信息可视化·excel
电鱼智能的电小鱼7 分钟前
产线视觉检测设备技术方案:基于EFISH-SCB-RK3588/SAIL-RK3588的国产化替代赛扬N100/N150全场景技术解析
linux·人工智能·嵌入式硬件·计算机视觉·视觉检测·实时音视频
妄想成为master13 分钟前
计算机视觉----基于锚点的车道线检测、从Line-CNN到CLRNet到CLRKDNet 本文所提算法Line-CNN 后续会更新以下全部算法
人工智能·计算机视觉·车道线检测
夜幕龙23 分钟前
LeRobot 项目部署运行逻辑(七)—— ACT 在 Mobile ALOHA 训练与部署
人工智能·深度学习·机器学习
未来之窗软件服务1 小时前
人体肢体渲染-一步几个脚印从头设计数字生命——仙盟创梦IDE
开发语言·ide·人工智能·python·pygame·仙盟创梦ide
Echo``1 小时前
40:相机与镜头选型
开发语言·人工智能·深度学习·计算机视觉·视觉检测
Christo31 小时前
关于在深度聚类中Representation Collapse现象
人工智能·深度学习·算法·机器学习·数据挖掘·embedding·聚类
Apache RocketMQ1 小时前
Apache RocketMQ ACL 2.0 全新升级
人工智能
QX_hao1 小时前
【project】--数据挖掘
人工智能·数据挖掘
showmethetime1 小时前
matlab提取脑电数据的五种频域特征指标数值
前端·人工智能·matlab