CV领域 交叉注意力(Cross Attention)中QKV的含义理解

交叉注意力公式:

注意力的输入:

(1)K=V:图像的全局特征

(2)Q:告诉attention需要关注哪些重要特征

公式计算过程理解:

(1):Q和K相乘,对应Query和Key进行点积运算,得到的是Query和Key之间的相似性

(2):再用Key向量的维度进行scaling,即将计算得到的相似度矩阵维度,缩放 到与K=V相同尺度

(3):对相似度权重矩阵进行归一化,即Q中任一元素与K的每个元素相似度权重之和都为1;

可以得到一个权重系数矩阵 ,这个系数矩阵代表在图像特征上重要特征的强弱程度(重要特征是Q所提供的);

(4):将重要特征的强弱程度权重系数矩阵施加到图像特征V上,得到最终的带有注意力权重分布的图像特征 ,在特征图V上属于Q的特征会被加强,不属于Q的特征会被减弱

相关推荐
车载诊断技术18 分钟前
电子电气架构 --- 什么是自动驾驶技术中的域控制单元(DCU)?
人工智能·机器学习·自动驾驶
我来试试26 分钟前
【分享】Pytorch数据结构:Tensor(张量)及其维度和数据类型
数据结构·人工智能·pytorch
西西弗Sisyphus29 分钟前
Vision Transformer (ViT) 论文的第二句话
深度学习·transformer·vit
MUTA️1 小时前
AutoDL服务器深度学习使用过程
服务器·人工智能·深度学习·计算机视觉
forestsea1 小时前
【深度学习】Java DL4J基于 CNN 构建车辆识别与跟踪模型
java·人工智能·深度学习·cnn·deep learning
martian6651 小时前
【人工智能 数据结构与算法】——深入详解人工智能基础:基本数据结构及其实现与应用场景
数据结构·人工智能
神秘的土鸡1 小时前
基于矩阵乘积态的生成模型:量子力学与生成任务的结合
深度学习·目标检测·计算机视觉
油泼辣子多加1 小时前
2024年12月27日Github流行趋势
人工智能·github
测试者家园2 小时前
ChatGPT助力数据可视化与数据分析效率的提升(二)
软件测试·人工智能·信息可视化·chatgpt·数据分析·用chatgpt做软件测试·测试图书
岁月如歌,青春不败2 小时前
R语言森林生态系统结构、功能与稳定性分析与可视化
开发语言·人工智能·python·深度学习·r语言