llamafactory的包安装

cuda版本12.1,python版本3.10,torch版本2.4.0,几个关键包版本如下:

复制代码
torch==2.4.0
transformers==4.48.3
triton==3.0.0
flash-attn==2.7.1.post4
xformers==0.0.27.post2
vllm==0.6.3.post1
vllm-flash-attn==2.6.1
unsloth==2025.3.18
unsloth_zoo==2025.3.16

具体安装过程:

  1. 安装虚拟环境:conda create -n llama python=3.10

  2. Cuda Toolkit | Anaconda.org找到对应的cuda版本的安装命令,我的是conda install nvidia/label/cuda-12.1.0::cuda-toolkit(最简单的是conda install cudatoolkit=12.1,但截至目前好像只支持到11.8)

  3. 安装torch2.4.0,注意不要直接pip install torch==2.4.0,会装成cpu版本的(经典错误了属于是),有几种安装方法,除了官方推荐的pip install torch==2.4.0 --index-url https://download.pytorch.org/whl/cu121,还可以在https://download.pytorch.org/whl/torch/等网站先下载对应版本的whl再进行安装(注意whl文件名要包含cu121)。由于与主线无关,此处不多赘述。

  4. 安装好torch后就是安装其他包了,由于安装其他包时可能会重新安装torch,而用--no-deps--ignore-installed命令又可能导致版本不匹配,所以我一般都会同步安装各个包,例如pip install transformers==4.48.3 triton==3.0.0 xformers==0.0.27.post2 flash_attn==2.7.1.post4 torch==2.4.0+cu121,由于命令中指定安装已有的torch==2.4.0+cu121,它就不会覆盖安装新的torch了。

  5. vllm和unsloth安装失败率较高。我安装vllm是使用了下面两种方式,第二种是我已知对应版本能够匹配上,如果不确定能否匹配上则应使用第一种。

    复制代码
    pip install git+https://github.com/vllm-project/vllm.git transformers==4.48.3 triton==3.0.0 torch==2.4.0+cu121
    pip install vllm==0.6.3.post1 vllm-flash-attn==2.6.1 transformers==4.48.3 triton==3.0.0 torch==2.4.0+cu121
  6. 安装unsloth:pip install unsloth==2025.3.18 transformers==4.48.3 triton==3.0.0 torch==2.4.0+cu121 unsloth==2025.3.18 xformers==0.0.27.post2

  7. 安装llamfactory:pip install -e ".[torch,metrics]" transformers==4.48.3 triton==3.0.0 torch==2.4.0+cu121 unsloth==2025.3.18 xformers==0.0.27.post2

安装后由于vllm版本低可能出现模块不存在问题:

复制代码
File "/usr/local/miniconda3/envs/llama/lib/python3.10/site-packages/unsloth_zoo/vllm_lora_worker_manager.py", line 16, in <module>
    from vllm.lora.peft_helper import PEFTHelper
ModuleNotFoundError: No module named 'vllm.lora.peft_helper'

可参照博客ModuleNotFoundError: No module named 'vllm.lora.peft_helper'原因和解决方式进行解决

相关推荐
Warren9821 分钟前
Java Collections工具类
java·开发语言·笔记·python·学习·oracle·硬件工程
love530love26 分钟前
Windows 11 下 Anaconda 命令修复指南及常见问题解决
运维·ide·人工智能·windows·python·架构·conda
NeoFii27 分钟前
Day 24:元组与os模块
python·机器学习
半新半旧39 分钟前
1.DRF 环境安装与配置
python·django
Sean_summer40 分钟前
暑期第二周
前端·数据库·python
封奚泽优1 小时前
使用Python绘制金融数据可视化工具
python·信息可视化·excel·pandas·pyplot·qtwidgets·qtcore
数据智能老司机1 小时前
使用 Python 进行并行与高性能编程——构建多线程程序
python·性能优化·编程语言
站大爷IP1 小时前
Python极速搭建局域网文件共享服务器:一行命令实现HTTPS安全传输
python
执器1 小时前
SIFT实现简单的图像匹配,查找icon在图中的位置
python·图像识别
Ronin-Lotus1 小时前
程序代码篇---数据包解析
python·esp32·数据包解析