技术栈
flash attention
爱听歌的周童鞋
18 天前
attention
·
self-attention
·
flash attention
Flash Attention原理讲解
看了几个视频和几篇文章学习了下 Flash Attention,记录下个人学习笔记,仅供自己参考😄refer1:Flash Attention 为什么那么快?原理讲解
我的龙呢
4 个月前
人工智能
·
flash attention
Flash Attention
Flash Attention 是一种针对 Transformer 模型 优化的高效注意力计算方法。与传统注意力机制相比,它通过 分块计算、显存优化 和 数值稳定性改进,实现了在 长序列任务 中的显著加速,同时大幅降低了显存占用。