flash attention

爱听歌的周童鞋1 个月前
attention·self-attention·flash attention
Flash Attention原理讲解看了几个视频和几篇文章学习了下 Flash Attention，记录下个人学习笔记，仅供自己参考😄refer1：Flash Attention 为什么那么快？原理讲解
我的龙呢4 个月前
人工智能·flash attention
Flash AttentionFlash Attention 是一种针对 Transformer 模型 优化的高效注意力计算方法。与传统注意力机制相比，它通过 分块计算、显存优化 和 数值稳定性改进，实现了在 长序列任务 中的显著加速，同时大幅降低了显存占用。