self-attention

【深度学习—李宏毅教程笔记】各式各样的 Attention目录一、普通 Self-Attention 的痛点二、对 Self-Attention 的优化方式1、Local Attention / Truncated Attention

爱听歌的周童鞋

Flash Attention原理讲解看了几个视频和几篇文章学习了下 Flash Attention，记录下个人学习笔记，仅供自己参考😄refer1：Flash Attention 为什么那么快？原理讲解

汤姆和佩琦

LLM 学习（二完结 Multi-Head Attention、Encoder、Decoder）原视频链接这段内容主要介绍了 Transformer 的整体结构，要点如下：这两个矩阵是 Decoder 交叉注意力层的核心输入，配合 Decoder 自身生成的 Query（Q），实现对源序列编码信息的利用，确保目标序列生成的准确性。

一文读懂| 自注意力与交叉注意力机制在计算机视觉中作用与基本原理《博主简介》小伙伴们好，我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。 👍感谢小伙伴们点赞、关注！

Self-Attention流程的代码实现【python】🍃作者介绍：双非本科大四网络工程专业在读，阿里云专家博主，专注于Java领域学习，擅长web应用开发、数据结构和算法，初步涉猎人工智能和前端开发。 🦅个人主页：@逐梦苍穹 📕所属专栏：人工智能 🌻gitee地址：xzl的人工智能代码仓库 ✈ 您的一键三连，是我创作的最大动力🌹

自然语言处理课程论文：《Attention is all you need》复现与解读目录1.背景介绍1.1 文献介绍1.2 研究背景1.3 知识概述1.3.1 机器翻译1.3.2 attention机制与self-attention机制

N刻后告诉你

[读论文]精读Self-Attentive Sequential Recommendation论文链接：https://arxiv.org/abs/1808.09781 其他解读文章：https://mp.weixin.qq.com/s/cRQi3FBi9OMdO7imK2Y4Ew