深度学习10种attention机制(快收藏)

1️⃣标准注意力机制:

Soft Attention:一种灵活的注意力分配方式,允许模型在序列的不同部分分配不同程度的关注。

Hard Attention:一种严格的注意力分配方式,模型只关注序列中的特定部分。

2️⃣自注意力(Self-Attention):允许序列内部的元素相互交互,广泛用于Transformer模型。

3️⃣多头注意力(Multi-Head Attention):在Transformer中使用,允许模型同时关注序列的不同方面。

4️⃣空间注意力(Spatial Attention):在计算机视觉任务中使用,关注图像的不同空间区域。

5️⃣通道注意力(Channel Attention):特别关注不同特征通道的重要性,常见于视觉处理的卷积神经网络。

6️⃣层次注意力(Hierarchical Attention):在多层次结构(如文档、段落、句子)中使用,分别对不同层级的数据应用注意力。

7️⃣时间注意力(Temporal Attention):用于处理时序数据,如视频分析或音频处理,关注时间序列的不同部分。

8️⃣图注意力网络(Graph Attention Networks, GATs):用于处理图结构数据,允许节点根据其邻居节点的特性分配注意力。

9️⃣协同注意力(Co-Attention):在多模态学习中使用,比如结合视觉和文本信息,模型在两种类型的数据上同时应用注意力。

🔟交叉注意力(Cross-Attention):允许来自两个不同序列的元素相互作用,常见于序列到序列的任务中。

相关推荐
Python×CATIA工业智造2 小时前
Frida RPC高级应用:动态模拟执行Android so文件实战指南
开发语言·python·pycharm
onceco2 小时前
领域LLM九讲——第5讲 为什么选择OpenManus而不是QwenAgent(附LLM免费api邀请码)
人工智能·python·深度学习·语言模型·自然语言处理·自动化
狐凄3 小时前
Python实例题:基于 Python 的简单聊天机器人
开发语言·python
悦悦子a啊4 小时前
Python之--基本知识
开发语言·前端·python
笑稀了的野生俊6 小时前
在服务器中下载 HuggingFace 模型:终极指南
linux·服务器·python·bash·gpu算力
Naiva6 小时前
【小技巧】Python+PyCharm IDE 配置解释器出错,环境配置不完整或不兼容。(小智AI、MCP、聚合数据、实时新闻查询、NBA赛事查询)
ide·python·pycharm
路来了6 小时前
Python小工具之PDF合并
开发语言·windows·python
蓝婷儿6 小时前
Python 机器学习核心入门与实战进阶 Day 3 - 决策树 & 随机森林模型实战
人工智能·python·机器学习
AntBlack7 小时前
拖了五个月 ,不当韭菜体验版算是正式发布了
前端·后端·python
.30-06Springfield7 小时前
决策树(Decision tree)算法详解(ID3、C4.5、CART)
人工智能·python·算法·决策树·机器学习