安装完flash-attn,使用时报错undefined symbol

去flash attention官网下载安装包, 注意需要根据自己的torch版本,cuda版本(可以选择低于自己cuda版本的) 和python版本进行选择。

  • 如果whl文件名上包含参数abiTRUE,则会报错。需要安装包含abiFALSE的whl文件。

卸载:卸载原先报错的flash-attn

bash 复制代码
pip uninstall flash-attn

下载:选择abiFALSE版本.!!!!!!!!!!

bash 复制代码
wget https://github.com/Dao-AILab/flash-attention/releases/download/v2.7.0.post2/flash_attn-2.7.0.post2+cu12torch2.2cxx11abiFALSE-cp39-cp39-linux_x86_64.whl

安装: 注意加 --no-build-isolation

bash 复制代码
pip install flash_attn-2.7.0.post2+cu12torch2.2cxx11abiFALSE-cp39-cp39-linux_x86_64.whl --no-build-isolation
相关推荐
Juicedata7 分钟前
JuiceFS v1.3-Beta2:集成 Apache Ranger,实现更精细化的权限控制
运维·人工智能·ai
Work(沉淀版)2 小时前
DAY 40
人工智能·深度学习·机器学习
蓦然回首却已人去楼空3 小时前
Build a Large Language Model (From Scratch) 序章
人工智能·语言模型·自然语言处理
CM莫问3 小时前
<论文>(微软)WINA:用于加速大语言模型推理的权重感知神经元激活
人工智能·算法·语言模型·自然语言处理·大模型·推理加速
拾忆-eleven3 小时前
NLP学习路线图(二十六):自注意力机制
人工智能·深度学习
MYH5164 小时前
在NLP文本处理中,将字符映射到阿拉伯数字(构建词汇表vocab)的核心目的和意义
人工智能·深度学习·自然语言处理
要努力啊啊啊4 小时前
KV Cache:大语言模型推理加速的核心机制详解
人工智能·语言模型·自然语言处理
mzlogin6 小时前
DIY|Mac 搭建 ESP-IDF 开发环境及编译小智 AI
人工智能
归去_来兮6 小时前
知识图谱技术概述
大数据·人工智能·知识图谱
就是有点傻6 小时前
VM图像处理之图像二值化
图像处理·人工智能·计算机视觉