bash
FlashAttention:具有 IO 感知能力的快速且内存高效的精确注意力机制
https://github.com/Dao-AILab/flash-attention
安装方式
pip 安装失败,需要官方下载whl,离线安装,下载地址
bash
# linux版本
https://github.com/Dao-AILab/flash-attention/releases?page=1
# Windows版本
https://github.com/kingbri1/flash-attention/releases

- cu12torch2.4->代表安装了torch2.4+cu12的版本
- cp310->代表python版本