安装完flash-attn,使用时报错undefined symbol

去flash attention官网下载安装包, 注意需要根据自己的torch版本,cuda版本(可以选择低于自己cuda版本的) 和python版本进行选择。

  • 如果whl文件名上包含参数abiTRUE,则会报错。需要安装包含abiFALSE的whl文件。

卸载:卸载原先报错的flash-attn

bash 复制代码
pip uninstall flash-attn

下载:选择abiFALSE版本.!!!!!!!!!!

bash 复制代码
wget https://github.com/Dao-AILab/flash-attention/releases/download/v2.7.0.post2/flash_attn-2.7.0.post2+cu12torch2.2cxx11abiFALSE-cp39-cp39-linux_x86_64.whl

安装: 注意加 --no-build-isolation

bash 复制代码
pip install flash_attn-2.7.0.post2+cu12torch2.2cxx11abiFALSE-cp39-cp39-linux_x86_64.whl --no-build-isolation
相关推荐
永霖光电_UVLED5 小时前
铂:一种有前景的 p 型碳化硅接触材料
人工智能
阿标在干嘛5 小时前
【功能全景实测】科力辰科技查新网:它如何试图覆盖科研业务全链条?
大数据·人工智能·科技
受之以蒙5 小时前
用Rust + dora-rs + Webots打造自动驾驶仿真系统:Mac M1完整实战
人工智能·笔记·rust
南风聊AI5 小时前
从单体LLM到多Agent协作,如何用AI重构内容生产SOP
人工智能·chatgpt·重构
橙汁味的风5 小时前
1基础搜索算法
人工智能·图搜索
Dfreedom.5 小时前
第一阶段:U-net++的概况和核心价值
人工智能·深度学习·神经网络·计算机视觉·图像分割·u-net·u-net++
weixin_462446235 小时前
使用 Docker Compose 部署 Next-AI-Draw-IO(精简 OpenAI 兼容配置)
人工智能·docker·容器
Dfreedom.5 小时前
循阶而上,庖丁解牛:系统学习开源 AI 模型的行动指南
人工智能·深度学习·学习·开源·图像算法
亚马逊云开发者5 小时前
使用 Kiro AI IDE 开发 基于Amazon EMR 的Flink 智能监控系统实践
人工智能
数据光子5 小时前
【YOLO数据集】自动驾驶
人工智能·yolo·自动驾驶