CV领域 交叉注意力(Cross Attention)中QKV的含义理解

交叉注意力公式:

注意力的输入:

(1)K=V:图像的全局特征

(2)Q:告诉attention需要关注哪些重要特征

公式计算过程理解:

(1):Q和K相乘,对应Query和Key进行点积运算,得到的是Query和Key之间的相似性;

(2):再用Key向量的维度进行scaling,即将计算得到的相似度矩阵维度,缩放 到与K=V相同尺度;

(3):对相似度权重矩阵进行归一化,即Q中任一元素与K的每个元素相似度权重之和都为1;

可以得到一个权重系数矩阵 ,这个系数矩阵代表在图像特征上重要特征的强弱程度(重要特征是Q所提供的);

(4):将重要特征的强弱程度权重系数矩阵施加到图像特征V上,得到最终的带有注意力权重分布的图像特征 ,在特征图V上属于Q的特征会被加强,不属于Q的特征会被减弱。

相关推荐
镜象科技2 分钟前
职业院校AI心理健康解决方案是什么?从一台设备到全周期守护
android·人工智能
把我格子衫拿来2 分钟前
RANSAC 粗配准:离群点很多时,怎样为 ICP 找到可信初值?
python·计算机视觉·三维重建·ransac·点云配准
愤怒的代码4 分钟前
模型量化为什么几乎不损失精度:误差的四道防线
人工智能
YoLo♪8 分钟前
PicGo OpenHarmony PC 适配说明
人工智能·机器人·交互
Web3&Basketball9 分钟前
决策模型vs GPT-5实测:便宜400倍
人工智能·python·gpt·大模型·ai落地·推理优化·决策模型
zzu123zsw9 分钟前
从 Copilot 中间人切换到自主工程执行体:Block 开源 AI 研发智能体 Goose 的 Rust 微内核与 MCP 扩展实践
人工智能·开源·copilot
Mars-xq10 分钟前
家庭膳食营养速查表
大数据·人工智能
围炉聊科技13 分钟前
从一次36分钟的翻盘学习DSH是怎么做 Loop Engineering的——智能体基建系列
人工智能
java资料站14 分钟前
十五、Spring AI Alibaba · 高级 ·Graph
java·人工智能·spring
zh路西法17 分钟前
【生成式模型入门】(四):Flow Matching——从速度场学习到生成路径
python·深度学习·神经网络·生成式模型·diffusionpolicy·flowmatching