深度学习10种attention机制(快收藏)

1️⃣标准注意力机制:

Soft Attention:一种灵活的注意力分配方式,允许模型在序列的不同部分分配不同程度的关注。

Hard Attention:一种严格的注意力分配方式,模型只关注序列中的特定部分。

2️⃣自注意力(Self-Attention):允许序列内部的元素相互交互,广泛用于Transformer模型。

3️⃣多头注意力(Multi-Head Attention):在Transformer中使用,允许模型同时关注序列的不同方面。

4️⃣空间注意力(Spatial Attention):在计算机视觉任务中使用,关注图像的不同空间区域。

5️⃣通道注意力(Channel Attention):特别关注不同特征通道的重要性,常见于视觉处理的卷积神经网络。

6️⃣层次注意力(Hierarchical Attention):在多层次结构(如文档、段落、句子)中使用,分别对不同层级的数据应用注意力。

7️⃣时间注意力(Temporal Attention):用于处理时序数据,如视频分析或音频处理,关注时间序列的不同部分。

8️⃣图注意力网络(Graph Attention Networks, GATs):用于处理图结构数据,允许节点根据其邻居节点的特性分配注意力。

9️⃣协同注意力(Co-Attention):在多模态学习中使用,比如结合视觉和文本信息,模型在两种类型的数据上同时应用注意力。

🔟交叉注意力(Cross-Attention):允许来自两个不同序列的元素相互作用,常见于序列到序列的任务中。

相关推荐
橘猫云计算机设计23 分钟前
springboot基于hadoop的酷狗音乐爬虫大数据分析可视化系统(源码+lw+部署文档+讲解),源码可白嫖!
数据库·hadoop·spring boot·爬虫·python·数据分析·毕业设计
YOULANSHENGMENG29 分钟前
linux 下python 调用c++的动态库的方法
c++·python
SsummerC1 小时前
【leetcode100】零钱兑换Ⅱ
数据结构·python·算法·leetcode·动态规划
一眼青苔1 小时前
切割PDF使用python,库PyPDF2
服务器·python·pdf
电商数据girl1 小时前
产品经理对于电商接口的梳理||电商接口文档梳理与接入
大数据·数据库·python·自动化·产品经理
三道杠卷胡2 小时前
【AI News | 20250424】每日AI进展
人工智能·pytorch·python·语言模型·github
T糖锅G3 小时前
小白自学python第二天
python
满怀10153 小时前
【OpenCV图像处理实战】从基础操作到工业级应用
图像处理·人工智能·python·opencv·计算机视觉·编程入门
AI视觉网奇3 小时前
四元数转旋转矩阵
人工智能·pytorch·python
Bruce_Liuxiaowei4 小时前
基于Python+Flask的MCP SDK响应式文档展示系统设计与实现
开发语言·python·flask·mcp