没合适的组合wheel包,就自行编译flash_attn吧

不知道是不是也有很多小伙伴像我一样,经常一装机就把最新的cuda安装上去了。等装到组件时,才发现cuda和其它组件各种不适配。这次把nvcc直接装到12.8了,然后发现flash attn没有合适的wheel,就只能自己编译了。下面记录下我的编译过程:

我的环境是ubuntu 24.04, ubuntu 22下也是一样的。

设置环境:

export CUDA_HOME=/usr/local/cuda-12.8 # 替换 <version> 为你的CUDA版本号

export PATH=CUDA_HOME/bin:PATH

export CPATH=CUDA_HOME/include:CPATH # 对于GCC, Clang等C/C++编译器

export LD_LIBRARY_PATH=CUDA_HOME/lib64:LD_LIBRARY_PATH

安装编译器:

pip install ninja

安装编译工具链:

apt-get update && sudo apt-get install -y nvidia-cuda-toolkit

pip install --upgrade pip setuptools wheel

下载 flash atten源码:

git clone https://github.com/Dao-AILab/flash-attention.git

准备编译:

cd flash-attention

python setup.py bdist_wheel

开始编译:

MAX_JOBS=1 python setup.py install

上面为的MAX_JOBS根据你的内存来设置,我的32G内存,默认3个JOB会OOM,被kill导致编译不过。所以就设置了1个并发编译

相关推荐
做运维的阿瑞13 分钟前
从入门到精通:Django的深度探索之旅
开发语言·后端·python·系统架构·django
czliutz24 分钟前
Phpstudy博客网站apache2日志分析python代码
开发语言·python
AI数据皮皮侠40 分钟前
全国各省市绿色金融指数及原始数据(1990-2022年)
大数据·人工智能·python·深度学习·机器学习·金融
老黄编程42 分钟前
增强版 bash “zsh“
ubuntu
唐古乌梁海2 小时前
Flask项目中CSRF Token实现的解决方案
python·flask·csrf
月疯2 小时前
FLASK与JAVA的文件互传(单文件互传亲测)
后端·python·flask
程序猿小D2 小时前
【完整源码+数据集+部署教程】医疗设备显示器图像分割系统: yolov8-seg-C2f-SCConv
python·yolo·计算机视觉·数据集·yolov8·医疗设备显示器图像分割系统
Derrick__12 小时前
Python常用内建模块——XML
xml·python
weixin_434169603 小时前
【机器学习】 在Jupyter Notebook 中如何指定Python环境
python·机器学习·jupyter
我是华为OD~HR~栗栗呀4 小时前
Java面经(22届考研-华oD)
java·后端·python·华为od·华为