flash-attention总是安装失败

大家有时候在执行下面命令安装flash-attention的时候经常会报错

pip install flash-attn --no-build-isolation

遇到这种情况，可以从源码进行安装

git clone https://github.com/Dao-AILab/flash-attention.git
cd flash-attention
# RTX 4090的话就是8.9
export TORCH_CUDA_ARCH_LIST="8.9"
rm -rf build flash_attn.egg-info dist
export TMPDIR=$PWD/tmp
mkdir -p $TMPDIR
git checkout v2.5.7
# 这个过程会比较久，10minutes左右
pip install --no-build-isolation -e .

# 安装fused_mlp_lib
# 在flash-attention目录下
cd csrc/fused_dense_lib
pip install --no-build-isolation .

# 安装layer_form
# 在flash-attention目录下
cd csrc/layer_norm
pip install --no-build-isolation .
# 这个编译比较慢哈

最后应该会成功哒。