CV领域 交叉注意力(Cross Attention)中QKV的含义理解

交叉注意力公式:

注意力的输入:

(1)K=V:图像的全局特征

(2)Q:告诉attention需要关注哪些重要特征

公式计算过程理解:

(1):Q和K相乘,对应Query和Key进行点积运算,得到的是Query和Key之间的相似性

(2):再用Key向量的维度进行scaling,即将计算得到的相似度矩阵维度,缩放 到与K=V相同尺度

(3):对相似度权重矩阵进行归一化,即Q中任一元素与K的每个元素相似度权重之和都为1;

可以得到一个权重系数矩阵 ,这个系数矩阵代表在图像特征上重要特征的强弱程度(重要特征是Q所提供的);

(4):将重要特征的强弱程度权重系数矩阵施加到图像特征V上,得到最终的带有注意力权重分布的图像特征 ,在特征图V上属于Q的特征会被加强,不属于Q的特征会被减弱

相关推荐
甲维斯6 分钟前
MiMo Code 初体验,免费,易上手,适合新手!
人工智能
2301_7644413312 分钟前
主流手机pc品牌的端侧模型部署梳理
人工智能·windows·机器学习·智能手机·产品运营
虾壳云智能25 分钟前
阿里云百炼 API 配置 OpenClaw 2.7.9 环境搭建
人工智能·阿里云百炼·open claw安装·open claw教程
Xzh042329 分钟前
AI Agent 学习路线(Java 后端方向)
java·人工智能·学习
醒醒该学习了!1 小时前
视觉与声音大模型(理论篇)
人工智能
Cloud_Shy6181 小时前
解读《Effective Python 3rd Edition》:从练气到老魔(第五章 Item 33 - 35)
开发语言·人工智能·笔记·python·学习方法
救救孩子把1 小时前
HyperFrames by HeyGen 入门教程
人工智能·视频生成·heygen
JS菌1 小时前
AI Agent 沙箱双层防护体系:从权限过滤到内核隔离的完整实现
前端·人工智能·后端
做cv的小昊1 小时前
计算机图形学:【Games101】学习笔记08——光线追踪(辐射度量学、渲染方程与全局光照、蒙特卡洛积分与路径追踪)
图像处理·笔记·学习·计算机视觉·游戏引擎·图形渲染·概率论
字节跳动开源1 小时前
Viking AI 搜索 CLI—— 开发者的合法“外挂”
人工智能·agent