self-attention

西西弗Sisyphus

从零实现Transformer：第 4 部分 - Residual Connection的两种实现 Pre-LN 和 Post-LNflyfishPre-LN = Pre-Layer Normalization Post-LN = Post-Layer Normalization

西西弗Sisyphus

从零实现Transformer：第 9 部分 - 推理（Inference ）文本转张量 → 编码器编码一次 → 解码器从 SOS 开始 → 循环逐词贪心生成 → 遇到 EOS 停止 → 张量转回文本

【AI大模型】Self-Attention：为什么它能取代 RNN 解决长距离依赖？在 Transformer 一统 NLP 乃至多模态领域之前，序列建模几乎是 RNN 及其变体（LSTM、GRU）的天下。但随着文本长度增加、模型规模扩大，RNN 的瓶颈愈发明显。而 Self-Attention（自注意力机制）的出现，不仅颠覆了序列建模范式，更凭借对长距离依赖的优秀建模能力，成为现代大模型的核心基石。

西西弗Sisyphus

Transformer 架构里关于 Attention 概念的澄清flyfish 先分 Encoder Stack 和 Decoder Stack 论文里的图没画 Encoder Stack由 N 个完全相同的 Encoder 层堆叠而成 Decoder Stack由 N 个完全相同的 Decoder 层堆叠而成

偶尔贪玩的骑士

Machine Learning HW4 report: 语者识别 (Hongyi Lee)任务：Using self-attention to predict speaker class from given speech

【深度学习—李宏毅教程笔记】各式各样的 Attention目录一、普通 Self-Attention 的痛点二、对 Self-Attention 的优化方式1、Local Attention / Truncated Attention

爱听歌的周童鞋

Flash Attention原理讲解看了几个视频和几篇文章学习了下 Flash Attention，记录下个人学习笔记，仅供自己参考😄refer1：Flash Attention 为什么那么快？原理讲解

汤姆和佩琦

LLM 学习（二完结 Multi-Head Attention、Encoder、Decoder）原视频链接这段内容主要介绍了 Transformer 的整体结构，要点如下：这两个矩阵是 Decoder 交叉注意力层的核心输入，配合 Decoder 自身生成的 Query（Q），实现对源序列编码信息的利用，确保目标序列生成的准确性。

一文读懂| 自注意力与交叉注意力机制在计算机视觉中作用与基本原理《博主简介》小伙伴们好，我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。 👍感谢小伙伴们点赞、关注！

Self-Attention流程的代码实现【python】🍃作者介绍：双非本科大四网络工程专业在读，阿里云专家博主，专注于Java领域学习，擅长web应用开发、数据结构和算法，初步涉猎人工智能和前端开发。 🦅个人主页：@逐梦苍穹 📕所属专栏：人工智能 🌻gitee地址：xzl的人工智能代码仓库 ✈ 您的一键三连，是我创作的最大动力🌹

自然语言处理课程论文：《Attention is all you need》复现与解读目录1.背景介绍1.1 文献介绍1.2 研究背景1.3 知识概述1.3.1 机器翻译1.3.2 attention机制与self-attention机制

N刻后告诉你

[读论文]精读Self-Attentive Sequential Recommendation论文链接：https://arxiv.org/abs/1808.09781 其他解读文章：https://mp.weixin.qq.com/s/cRQi3FBi9OMdO7imK2Y4Ew

我是有底线的