flash-attention总是安装失败

大家有时候在执行下面命令安装flash-attention的时候经常会报错

bash 复制代码
pip install flash-attn --no-build-isolation

遇到这种情况,可以从源码进行安装

bash 复制代码
git clone https://github.com/Dao-AILab/flash-attention.git
cd flash-attention
# RTX 4090的话就是8.9
export TORCH_CUDA_ARCH_LIST="8.9"
rm -rf build flash_attn.egg-info dist
export TMPDIR=$PWD/tmp
mkdir -p $TMPDIR
git checkout v2.5.7
# 这个过程会比较久,10minutes左右
pip install --no-build-isolation -e .
bash 复制代码
# 安装fused_mlp_lib
# 在flash-attention目录下
cd csrc/fused_dense_lib
pip install --no-build-isolation .
bash 复制代码
# 安装layer_form
# 在flash-attention目录下
cd csrc/layer_norm
pip install --no-build-isolation .
# 这个编译比较慢哈

最后应该会成功哒。

相关推荐
2601_967980111 小时前
python pytest如何编写测试
python·测试用例·pytest·函数·assert
2601_967980112 小时前
Python中heapq模块的各种用法实例
数据结构·python·算法·应用实例·heapq模块
大胖爱学习_MJ2 小时前
超越向量检索:用 Spring Boot + Neo4j 手搓 GraphRAG 知识图谱记忆
java·后端·python
RobinDevNotes2 小时前
24GB Mac 做数字人:声音放本地,画面租云端
人工智能·python·macos·开发工具
学无止境小袁同学4 小时前
LlamaIndex Workflows 学习
python·llm·tensorflow·llamaindex·agent开发·多agent·workflows
鲸渔5 小时前
【AI Agent系列课程13-Python 基础13】JSON 读写:结构化数据交换基础
开发语言·python·json·ai编程
wuyk55515 小时前
Python办公自动化-第01讲-环境搭建与自动化认知
python·自动化·pyqt
高洁0115 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
ComPDFKit16 小时前
RAG 回答只显示 PDF 文件名?用 Python 保留引用页码
开发语言·python·pdf·rag
yz_aiks17 小时前
Termux 使用教程:把安卓手机变成随身 Linux(装 Python、SSH 远程、跑自动化脚本)
android·linux·python·智能手机·ssh·termux