技术栈
online softmax
一条大祥脚
8 天前
flashattention
·
online softmax
·
cs336
【CS336】lecture4 FlashAttention
fa是个很经典的优化，和torch的标准注意力实现相比，访存量减少了一个数量级，运行时间也大幅降低，只有运算量稍微增加了一点，但正如我们前面提到的，GPU的运算吞吐远大于内存带宽，因此计算量增加问题不大，只要优化了搬运量就行，而这就是fa的核心思路。
远上寒山
1 年前
大模型
·
注意力机制
·
flash_attention
·
online softmax
·
shared memory
FlashAttention 原理与工程实践：从 IO-aware 到 H100 上的 1 PFLOPs/s
关键词：IO-aware、在线 Softmax（online softmax）、tiling、shared memory、SDPA、PyTorch 后端、FA1/FA2/FA3
我是有底线的