CV领域 交叉注意力(Cross Attention)中QKV的含义理解

交叉注意力公式:

注意力的输入:

(1)K=V:图像的全局特征

(2)Q:告诉attention需要关注哪些重要特征

公式计算过程理解:

(1):Q和K相乘,对应Query和Key进行点积运算,得到的是Query和Key之间的相似性

(2):再用Key向量的维度进行scaling,即将计算得到的相似度矩阵维度,缩放 到与K=V相同尺度

(3):对相似度权重矩阵进行归一化,即Q中任一元素与K的每个元素相似度权重之和都为1;

可以得到一个权重系数矩阵 ,这个系数矩阵代表在图像特征上重要特征的强弱程度(重要特征是Q所提供的);

(4):将重要特征的强弱程度权重系数矩阵施加到图像特征V上,得到最终的带有注意力权重分布的图像特征 ,在特征图V上属于Q的特征会被加强,不属于Q的特征会被减弱

相关推荐
美酒没故事°1 天前
Open WebUI安装指南。搭建自己的自托管 AI 平台
人工智能·windows·ai
云烟成雨TD1 天前
Spring AI Alibaba 1.x 系列【6】ReactAgent 同步执行 & 流式执行
java·人工智能·spring
简简单单做算法1 天前
基于GA遗传优化的Transformer-LSTM网络模型的时间序列预测算法matlab性能仿真
深度学习·matlab·lstm·transformer·时间序列预测·ga遗传优化·电池剩余寿命预测
AI攻城狮1 天前
用 Obsidian CLI + LLM 构建本地 RAG:让你的笔记真正「活」起来
人工智能·云原生·aigc
鸿乃江边鸟1 天前
Nanobot 从onboard启动命令来看个人助理Agent的实现
人工智能·ai
lpfasd1231 天前
基于Cloudflare生态的应用部署与开发全解
人工智能·agent·cloudflare
俞凡1 天前
DevOps 2.0:智能体如何接管故障修复和基础设施维护
人工智能
comedate1 天前
[OpenClaw] GLM 5 关于电影 - 人工智能 - 的思考
人工智能·电影评价
财迅通Ai1 天前
6000万吨产能承压 卫星化学迎来战略窗口期
大数据·人工智能·物联网·卫星化学
liliangcsdn1 天前
Agent Memory智能体记忆系统的示例分析
数据库·人工智能·全文检索