Pytorch/CUDA——flash-attn 库编译的 gcc 版本问题

flash-attn 是一个高性能 CUDA 加速库,编译时 gcc(或 g++)版本是有严格要求的 ,因为它需要和 NVIDIA CUDA Toolkit 的版本匹配。

如果 gcc 太新或太旧,nvcc 会直接报错 或编译出来的不兼容。


下面是通用的经验总结(你可以对照看你机器上的环境):


1️⃣ 核心点:nvcc 只支持特定版本的 gcc

NVIDIA 官方 CUDA Toolkit 对应支持的 gcc 范围:

CUDA 版本 推荐 gcc
CUDA 11.6 gcc 9.x (或 gcc 7.x ~ 9.x)
CUDA 11.7 gcc 9.x ~ 10.x
CUDA 11.8 gcc 9.x ~ 11.x
CUDA 12.0 gcc 10.x ~ 11.x
CUDA 12.1+ gcc 11.x (12.x 往往也可以)

如果你的 gcc 版本太新(例如 gcc 13),nvcc 可能直接报错:

复制代码
unsupported GNU version! gcc versions later than 11 are not supported!

2️⃣ flash-attn 的编译特点

flash-attn 的核心是 CUDA C++,底层依赖 PyTorch 的 torch.utils.cpp_extension

  • 必须 nvccgcc 能正常一起工作。
  • 如果 Python 对应的 torch 是用某个 CUDA 编译的,必须和你本机的 nvcc 版本匹配。
  • flash-attn 不支持非 nvcc 的替代方案,编译阶段一定走 CUDA

3️⃣ 如何查看当前版本

  • 查看 gcc

    bash 复制代码
    gcc --version
  • 查看 nvcc

    bash 复制代码
    nvcc --version
  • 查看 torch 的 CUDA:

    python 复制代码
    python -c "import torch; print(torch.version.cuda)"

这三者必须能对上号:

  • 例如:torch 是 CUDA 11.8,则系统的 nvcc 应该是 CUDA 11.8,gcc 最好是 9~11。

4️⃣ 解决办法

相关推荐
Green1Leaves21 小时前
pytorch学习-9.多分类问题
人工智能·pytorch·学习
摸爬滚打李上进1 天前
重生学AI第十六集:线性层nn.Linear
人工智能·pytorch·python·神经网络·机器学习
HuashuiMu花水木1 天前
PyTorch笔记1----------Tensor(张量):基本概念、创建、属性、算数运算
人工智能·pytorch·笔记
喝过期的拉菲2 天前
如何使用 Pytorch Lightning 启用早停机制
pytorch·lightning·早停机制
kk爱闹2 天前
【挑战14天学完python和pytorch】- day01
android·pytorch·python
Yo_Becky2 天前
【PyTorch】PyTorch预训练模型缓存位置迁移,也可拓展应用于其他文件的迁移
人工智能·pytorch·经验分享·笔记·python·程序人生·其他
xinxiangwangzhi_2 天前
pytorch底层原理学习--PyTorch 架构梳理
人工智能·pytorch·架构
FF-Studio2 天前
【硬核数学 · LLM篇】3.1 Transformer之心:自注意力机制的线性代数解构《从零构建机器学习、深度学习到LLM的数学认知》
人工智能·pytorch·深度学习·线性代数·机器学习·数学建模·transformer
野蛮人6号2 天前
如何查看自己电脑的CUDA版本?
cuda