llamafactory的包安装

cuda版本12.1,python版本3.10,torch版本2.4.0,几个关键包版本如下:

复制代码
torch==2.4.0
transformers==4.48.3
triton==3.0.0
flash-attn==2.7.1.post4
xformers==0.0.27.post2
vllm==0.6.3.post1
vllm-flash-attn==2.6.1
unsloth==2025.3.18
unsloth_zoo==2025.3.16

具体安装过程:

  1. 安装虚拟环境:conda create -n llama python=3.10

  2. 在Cuda Toolkit | Anaconda.org找到对应的cuda版本的安装命令,我的是conda install nvidia/label/cuda-12.1.0::cuda-toolkit(最简单的是conda install cudatoolkit=12.1,但截至目前好像只支持到11.8)

  3. 安装torch2.4.0,注意不要直接pip install torch==2.4.0,会装成cpu版本的(经典错误了属于是),有几种安装方法,除了官方推荐的pip install torch==2.4.0 --index-url https://download.pytorch.org/whl/cu121,还可以在https://download.pytorch.org/whl/torch/等网站先下载对应版本的whl再进行安装(注意whl文件名要包含cu121)。由于与主线无关,此处不多赘述。

  4. 安装好torch后就是安装其他包了,由于安装其他包时可能会重新安装torch,而用--no-deps或--ignore-installed命令又可能导致版本不匹配,所以我一般都会同步安装各个包,例如pip install transformers==4.48.3 triton==3.0.0 xformers==0.0.27.post2 flash_attn==2.7.1.post4 torch==2.4.0+cu121,由于命令中指定安装已有的torch==2.4.0+cu121,它就不会覆盖安装新的torch了。

  5. vllm和unsloth安装失败率较高。我安装vllm是使用了下面两种方式,第二种是我已知对应版本能够匹配上,如果不确定能否匹配上则应使用第一种。

    复制代码
    pip install git+https://github.com/vllm-project/vllm.git transformers==4.48.3 triton==3.0.0 torch==2.4.0+cu121
    pip install vllm==0.6.3.post1 vllm-flash-attn==2.6.1 transformers==4.48.3 triton==3.0.0 torch==2.4.0+cu121
  6. 安装unsloth:pip install unsloth==2025.3.18 transformers==4.48.3 triton==3.0.0 torch==2.4.0+cu121 unsloth==2025.3.18 xformers==0.0.27.post2

  7. 安装llamfactory:pip install -e ".[torch,metrics]" transformers==4.48.3 triton==3.0.0 torch==2.4.0+cu121 unsloth==2025.3.18 xformers==0.0.27.post2

安装后由于vllm版本低可能出现模块不存在问题:

复制代码
File "/usr/local/miniconda3/envs/llama/lib/python3.10/site-packages/unsloth_zoo/vllm_lora_worker_manager.py", line 16, in <module>
    from vllm.lora.peft_helper import PEFTHelper
ModuleNotFoundError: No module named 'vllm.lora.peft_helper'

可参照博客ModuleNotFoundError: No module named 'vllm.lora.peft_helper'原因和解决方式进行解决

相关推荐
wuyk5554 小时前
Python办公自动化-第01讲-环境搭建与自动化认知
python·自动化·pyqt
高洁014 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
ComPDFKit4 小时前
RAG 回答只显示 PDF 文件名?用 Python 保留引用页码
开发语言·python·pdf·rag
yz_aiks6 小时前
Termux 使用教程:把安卓手机变成随身 Linux(装 Python、SSH 远程、跑自动化脚本)
android·linux·python·智能手机·ssh·termux
2601_967980118 小时前
Flask Web 应用
python·flask·web开发·环境变量·虚拟环境
aifannihao8 小时前
ß 大写变 SS:用 Python 算清 Ruby2Shell 的缓冲区账本
python·安全·标准库·缓冲区溢出·字符串编码
liwulin05068 小时前
【OLLAMA】调用SKILL的通用ReAct
python
郝学胜-神的一滴9 小时前
Effective Python 条款36:优雅拼装迭代器与生成器
开发语言·数据结构·人工智能·python·numpy·scikit-learn
Norna10 小时前
Git 给路径加了引号,这个文件就从 review 里消失了
python
wuyk55511 小时前
Python办公自动化-第04讲-批量新建Excel
开发语言·python·excel