【项目实战】基于 LLaMA-Factory 通过 LoRA 微调 Qwen2

【项目实战】基于 LLaMAFactory 通过 LoRA 微调 Qwen2

一、项目介绍
二、环境准备
- 1、环境准备
- 2、安装LLaMa-Factory
- 3、准备模型数据集
- - [3.1 模型准备](#3.1 模型准备)
  - [3.2 数据集准备](#3.2 数据集准备)
三、微调
四、测试
五、总结

一、项目介绍

LLaMA-Factory是一个由北京航空航天大学的郑耀威开发的开源框架，作为一个功能强大且高效的大模型微调框架，通过其用户友好的界面和丰富的功能特性,为开发者提供了极大的便利。

项目官网：https://www.llamafactory.cn/

Github：https://github.com/hiyouga/LLaMA-Factory

二、环境准备

1、环境准备

Python 3.10.9
NVIDIA GeForce GTX 1650
CUDA和cuDNN

2、安装LLaMa-Factory

bash 复制代码

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

进入项目目录，安装必要的Python依赖库。可以使用以下命令：

bash 复制代码

cd LLaMA-Factory
pip install -e ".[torch,metrics]"

python 复制代码

#截止2024.11.16，github拉取的最新版本的requirements.txt
transformers>=4.41.2,<=4.46.1
datasets>=2.16.0,<=3.1.0
accelerate>=0.34.0,<=1.0.1
peft>=0.11.1,<=0.12.0
trl>=0.8.6,<=0.9.6
gradio>=4.0.0,<5.0.0
pandas>=2.0.0
scipy
einops
sentencepiece
tiktoken
protobuf
uvicorn
pydantic
fastapi
sse-starlette
matplotlib>=3.7.0
fire
packaging
pyyaml
numpy<2.0.0
av

3、准备模型数据集

3.1 模型准备

这里我们使用 Qwen2-0.5B 模型进行微调，首先下载模型，这里如果无法从Hugging Face上拉取的话，可以从国内模型库魔塔社区拉去，没有速度限制。

python 复制代码

#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('qwen/Qwen2-0.5B',cache_dir="model/Qwen")

3.2 数据集准备

LLaMA-Factory 内置了一些数据集，本次就使用内置的 identity 数据集，用于修改模型的自我意识，数据集格式：

xml 复制代码

#文件地址 LLaMA-Factory-main\data\identity.json
{
    "instruction": "Who are you?",
    "input": "",
    "output": "I am {{name}} an AI assistant developed by {{author}}. How can I assist you today?"
  },
  {
    "instruction": "What is your name?",
    "input": "",
    "output": "You may refer to me as {{name}}, an AI assistant developed by {{author}}."
  },
  {
    "instruction": "Do you have a name?",
    "input": "",
    "output": "As an AI assistant developed by {{author}}, I got the name {{name}}."
  },

对于这个数据集进行大量训练后，会修改模型的自我意识，比如修改前：我的名字是通义千问；修改后：我的名字是{{name}}。

三、微调

1、启动webui

启动webui：llamafactory-cli webui，出现如下提示和页面表示启动成功：

powershell 复制代码

(torch3) D:\AIProject\LLaMA-Factory-main>llamafactory-cli webui
Running on local URL:  http://0.0.0.0:7860

To create a public link, set `share=True` in `launch()`.

2、选择参数

主要选择：模型、训练数据集、训练参数（此处不多介绍，按照下图选择）

3、训练

点击训练，等待即可，训练结束后会出现训练完毕字样，并且会显示出Loss曲线。

模型训练过程

四、测试

在模型训练完成后，可以通过Evaluate & Predict（通过评估数据集评估性能）、Chat(直接与模型对话)。此处选择后者，更直观的展示模型训练效果。

模型依旧选择基座模型，检查点选择训练完模型保存的地址，点击加载模型，即可开始与模型对话。

五、总结

本文章记录了LLaMA-Factory在本地的部署以及使用，从最后的测试效果发现训练的效果其实并不理想，不过初有成效，初步判断和数据集规模 ，训练轮数 以及参数配置等有关，后期将针对这些方面进行相应的调整，争取达到目标效果。