LLama_Factory配置及模型微调实践

一：下载及配置

1.安装llama_factory（开源项目）

复制代码

 git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

2.验证安装

复制代码

llamafactory-cli version

3.查看pip下载源（python库）

复制代码

pip config list

# 国外源下载太慢了，且都是大的AI工具包

可以考虑换国内的清华源

复制代码

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
pip config set global.trusted-host pypi.tuna.tsinghua.edu.cn

4.跑大模型所需要的依赖

复制代码

pip install -e ".[torch,metrics]"

下错了版本，卸载（上述命令默认安装的是cpu版本的torch）

复制代码

pip uninstall torch torchaudio torchvision -y

下载适配torch

bash 复制代码

pip install torch==2.9.0 torchvision==0.24.0 torchaudio==2.9.0 --index-url https://download.pytorch.org/whl/cu126

# 这是笔者的

"""
torch-2.9.0+cu126 ✅ GPU 版 PyTorch

torchaudio-2.9.0+cu126 ✅ 音频库

torchvision-0.24.0+cu126 ✅ 视觉库

triton-3.5.0 ✅ 加速库

cu126，即cuda12.6版本
"""

检测gpu是否可用

复制代码

python -c "import torch; print(torch.cuda.is_available())"

# 显示True即可

补充：若是在windows里已经配置好了pytorch，gpu可用，则可以下载windows相同的版本。如何查看版本信息呢？

bash 复制代码

# 打开cmd，进入python
python

# 输出pytorch信息，检测gpu是否可用（直接粘贴）
import torch
print(torch.__version__)   # pytorch自身版本（发布的命名）
print(torch.cuda.is_available())   # gpu是否可用
print(torch.version.cuda)    # 编写pytorch的cuda版本

"""
补充：ctrl+Z 退出python
      nvidia-smi显示的是你的显卡支持的最高的cuda版本，可以向下兼容
"""

5.启动

复制代码

llamafactory-cli webui

复制地址，在windows浏览器打开

二：微调

功能解释：

量化：给模型瘦身，太大显卡跑不起来；越小瘦的越多，一般推荐4

量化算法：使用哪种方法给模型瘦身；跑模型：GPTQ，微调：BitsAndBytes(bnb)

模型下载

hugging face下载连不上网络

复制代码

# 打开cmd
pip install modelscope

# 进入你想安装model的路径
modelscope download --model qwen/Qwen2.5-7B-Instruct