Pytorch/CUDA——flash-attn 库编译的 gcc 版本问题

flash-attn 是一个高性能 CUDA 加速库,编译时 gcc(或 g++)版本是有严格要求的 ,因为它需要和 NVIDIA CUDA Toolkit 的版本匹配。

如果 gcc 太新或太旧,nvcc 会直接报错 或编译出来的不兼容。


下面是通用的经验总结(你可以对照看你机器上的环境):


1️⃣ 核心点:nvcc 只支持特定版本的 gcc

NVIDIA 官方 CUDA Toolkit 对应支持的 gcc 范围:

CUDA 版本 推荐 gcc
CUDA 11.6 gcc 9.x (或 gcc 7.x ~ 9.x)
CUDA 11.7 gcc 9.x ~ 10.x
CUDA 11.8 gcc 9.x ~ 11.x
CUDA 12.0 gcc 10.x ~ 11.x
CUDA 12.1+ gcc 11.x (12.x 往往也可以)

如果你的 gcc 版本太新(例如 gcc 13),nvcc 可能直接报错:

复制代码
unsupported GNU version! gcc versions later than 11 are not supported!

2️⃣ flash-attn 的编译特点

flash-attn 的核心是 CUDA C++,底层依赖 PyTorch 的 torch.utils.cpp_extension

  • 必须 nvccgcc 能正常一起工作。
  • 如果 Python 对应的 torch 是用某个 CUDA 编译的,必须和你本机的 nvcc 版本匹配。
  • flash-attn 不支持非 nvcc 的替代方案,编译阶段一定走 CUDA

3️⃣ 如何查看当前版本

  • 查看 gcc

    bash 复制代码
    gcc --version
  • 查看 nvcc

    bash 复制代码
    nvcc --version
  • 查看 torch 的 CUDA:

    python 复制代码
    python -c "import torch; print(torch.version.cuda)"

这三者必须能对上号:

  • 例如:torch 是 CUDA 11.8,则系统的 nvcc 应该是 CUDA 11.8,gcc 最好是 9~11。

4️⃣ 解决办法

相关推荐
贝塔西塔8 小时前
PytorchLightning最佳实践基础篇
pytorch·深度学习·lightning·编程框架
小猪和纸箱9 小时前
通过Python交互式控制台理解Conv1d的输入输出
pytorch
墨染枫15 小时前
pytorch学习笔记-使用DataLoader加载固有Datasets(CIFAR10),使用tensorboard进行可视化
pytorch·笔记·学习
九章云极AladdinEdu1 天前
GitHub新手生存指南:AI项目版本控制与协作实战
人工智能·pytorch·opencv·机器学习·github·gpu算力
z are1 天前
PyTorch 模型开发全栈指南:从定义、修改到保存的完整闭环
人工智能·pytorch·python
点云SLAM1 天前
Pytorch中cuda相关操作详见和代码示例
人工智能·pytorch·python·深度学习·3d·cuda·多gpu训练
mpr0xy2 天前
编译支持cuda硬件加速的ffmpeg
ai·ffmpeg·nvidia·cuda
cwn_2 天前
Sequential 损失函数 反向传播 优化器 模型的使用修改保存加载
人工智能·pytorch·python·深度学习·机器学习
老鱼说AI2 天前
Transformer Masked loss原理精讲及其PyTorch逐行实现
人工智能·pytorch·python·深度学习·transformer
空中湖2 天前
PyTorch武侠演义 第一卷:初入江湖 第5章:玉如意的秘密
人工智能·pytorch·neo4j