技术栈
shared memory
Thinker QAQ
20 天前
java
·
python
·
go
·
并发编程
·
shared memory
·
message passing
并发编程（十一）：Shared Memory 与 Message Passing——关系与组合使用
前面的文章已经分别讨论了 Shared Memory 和 Message Passing 两种并发协作模型。
远上寒山
1 年前
大模型
·
注意力机制
·
flash_attention
·
online softmax
·
shared memory
FlashAttention 原理与工程实践：从 IO-aware 到 H100 上的 1 PFLOPs/s
关键词：IO-aware、在线 Softmax（online softmax）、tiling、shared memory、SDPA、PyTorch 后端、FA1/FA2/FA3
我是有底线的