LLaMA-Factory(一）环境配置及包下载

本机配置
[1. git下载](#1. git下载)
2.创建虚拟环境
[3. 下载官方包内依赖](#3. 下载官方包内依赖)
[4. 下载bitsandbytes](#4. 下载bitsandbytes)
[5. 启动项目](#5. 启动项目)
[6. 可能出现问题1：pip install 出现 error: subprocess-exited-with-error 错误](#6. 可能出现问题1：pip install 出现 error: subprocess-exited-with-error 错误)
[7. 可能出现问题2： ModuleNotFoundError: No module named '_distutils_hack'](#7. 可能出现问题2： ModuleNotFoundError: No module named ‘_distutils_hack‘)

本机配置

操作系统：Window11

CPU：AMD Ryzen 9 7945HX with Radeon Graphics 2.50 GHz

RAM：16.0 GB (15.7 GB 可用)

GPU： NVIDIA GeForce RTX 4060 Laptop GPU 8G

CUDA版本：12.6 (可以在PowerShell或CMD下输入 nvidia-smi 命令查看自己的CUDA版本)

GitHub链接：https://github.com/hiyouga/LLaMA-Factory

git链接：

bash 复制代码

git clone https://github.com/hiyouga/LLaMA-Factory.git

下载后解压压缩包

需要提前下载Anaconda3或miniconda

创建虚拟环境

官方Readme推荐python版本3.11

bash 复制代码

conda create -n llm python=3.11 -y

激活环境

bash 复制代码

conda activate llm

在项目目录下CMD打开命令行窗口或使用cd命令到对应目录

bash 复制代码

pip install -e ".[torch,metrics]"

bash 复制代码

pip install bitsandbytes

或

bash 复制代码

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple bitsandbytes

设置环境变量打开项目

bash 复制代码

Set CUDA_VISIBLE_DEVICES=0
Set GRADIO_SHARE=1
llamafactory-cli webui

也可将打开项目命令替换为

bash 复制代码

python src/webui.py

启动成功

新建conda环境 setuptools可能有问题

bash 复制代码

pip uninstall setuptools
pip install setuptools==69.0.0

Error processing line 1 of /home/chenqianyi/anaconda3/envs/pysyft/lib/python3.7/site-packages/distutils-precedence.pth:

Traceback (most recent call last):

File "/home/chenqianyi/anaconda3/envs/pysyft/lib/python3.7/site.py", line 168, in addpackage

exec(line)

File "", line 1, in

ModuleNotFoundError: No module named '_distutils_hack'

打开目录文件home/chenqianyi/anaconda3/envs/pysyft/lib/python3.7/site-packages/distutils-precedence.pth

在import os; 后换行