深度学习10种attention机制(快收藏)

1️⃣标准注意力机制:

Soft Attention:一种灵活的注意力分配方式,允许模型在序列的不同部分分配不同程度的关注。

Hard Attention:一种严格的注意力分配方式,模型只关注序列中的特定部分。

2️⃣自注意力(Self-Attention):允许序列内部的元素相互交互,广泛用于Transformer模型。

3️⃣多头注意力(Multi-Head Attention):在Transformer中使用,允许模型同时关注序列的不同方面。

4️⃣空间注意力(Spatial Attention):在计算机视觉任务中使用,关注图像的不同空间区域。

5️⃣通道注意力(Channel Attention):特别关注不同特征通道的重要性,常见于视觉处理的卷积神经网络。

6️⃣层次注意力(Hierarchical Attention):在多层次结构(如文档、段落、句子)中使用,分别对不同层级的数据应用注意力。

7️⃣时间注意力(Temporal Attention):用于处理时序数据,如视频分析或音频处理,关注时间序列的不同部分。

8️⃣图注意力网络(Graph Attention Networks, GATs):用于处理图结构数据,允许节点根据其邻居节点的特性分配注意力。

9️⃣协同注意力(Co-Attention):在多模态学习中使用,比如结合视觉和文本信息,模型在两种类型的数据上同时应用注意力。

🔟交叉注意力(Cross-Attention):允许来自两个不同序列的元素相互作用,常见于序列到序列的任务中。

相关推荐
好看资源平台30 分钟前
网络爬虫——综合实战项目:多平台房源信息采集与分析系统
爬虫·python
进击的六角龙1 小时前
深入浅出:使用Python调用API实现智能天气预报
开发语言·python
檀越剑指大厂1 小时前
【Python系列】浅析 Python 中的字典更新与应用场景
开发语言·python
湫ccc1 小时前
Python简介以及解释器安装(保姆级教学)
开发语言·python
孤独且没人爱的纸鹤1 小时前
【深度学习】:从人工神经网络的基础原理到循环神经网络的先进技术,跨越智能算法的关键发展阶段及其未来趋势,探索技术进步与应用挑战
人工智能·python·深度学习·机器学习·ai
羊小猪~~1 小时前
tensorflow案例7--数据增强与测试集, 训练集, 验证集的构建
人工智能·python·深度学习·机器学习·cnn·tensorflow·neo4j
lzhlizihang1 小时前
python如何使用spark操作hive
hive·python·spark
q0_0p1 小时前
牛客小白月赛105 (Python题解) A~E
python·牛客
极客代码1 小时前
【Python TensorFlow】进阶指南(续篇三)
开发语言·人工智能·python·深度学习·tensorflow
庞传奇1 小时前
TensorFlow 的基本概念和使用场景
人工智能·python·tensorflow