LLaMA Factory微调Llama3模型


LLaMA Factory是一款开源低代码大模型微调框架,集成了业界最广泛使用的微调技术,支持通过Web UI界面零代码微调大模型,目前已经成为开源社区内最受欢迎的微调框架。

  • 💥GPU推荐使用24GB显存的A10(ecs.gn7i-c8g1.2xlarge)或更高配置
  • 💥镜像选择DSW官方镜像modelscope:1.14.0-pytorch2.1.2-gpu-py310-cu121-ubuntu22.04

我们来微调llama3-8B模型尝试一下

安装LLaMA Factory

💢拉取LLaMA-Factory项目

python 复制代码
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

#
正克隆到 'LLaMA-Factory'...
remote: Enumerating objects: 298, done.
remote: Counting objects: 100% (298/298), done.
remote: Compressing objects: 100% (218/218), done.
remote: Total 298 (delta 76), reused 204 (delta 67), pack-reused 0 (from 0)
接收对象中: 100% (298/298), 7.85 MiB | 5.21 MiB/s, 完成.
处理 delta 中: 100% (76/76), 完成.

💢然后安装LLaMA-Factory依赖环境。

python 复制代码
pip uninstall -y vllm
pip install llamafactory[metrics]==0.7.1
pip install accelerate==0.30.1

安装后输入llamafactory-cli version检查一下是否安装成功:

python 复制代码
llamafactory-cli version
#
----------------------------------------------------------
| Welcome to LLaMA Factory, version 0.7.1                |
|                                                        |
| Project page: https://github.com/hiyouga/LLaMA-Factory |
----------------------------------------------------------

LLaMA-Factory项目内置了丰富的数据集,放在了data目录下,我们也可以准备自定义数据集,将数据处理为框架特定的格式,放在data下,并且修改dataset_info.json文件。

我们看一下官方给出的格式:

Alpaca 格式

python 复制代码
[
  {
    "instruction": "人类指令(必填)",
    "input": "人类输入(选填)",
    "output": "模型回答(必填)",
    "system": "系统提示词(选填)",
    "history": [
      ["第一轮指令(选填)", "第一轮回答(选填)"],
      ["第二轮指令(选填)", "第二轮回答(选填)"]
    ]
  }
]

💫对于上述格式的数据,dataset_info.json 中的数据集描述应为:

python 复制代码
"数据集名称": {
  "file_name": "data.json",
  "columns": {
    "prompt": "instruction",
    "query": "input",
    "response": "output",
    "system": "system",
    "history": "history"
  }
}

我们去官方寻找一份数据集来下载(notebook运行):

python 复制代码
%cd LLaMA-Factory
!wget https://atp-modelzoo-sh.oss-cn-shanghai.aliyuncs.com/release/tutorials/llama_factory/data.zip
!mv data rawdata && unzip data.zip -d data

数据:

python 复制代码
[
{
    "conversations": [
      {
        "from": "human",
        "value": "模仿西游记的孙悟空的语气和我聊天。如果你把水冻住,你会得到什么?"
      },
      {
        "from": "gpt",
        "value": "哈哈,这问题还难倒俺老孙吗?把水冻住就是变成冰啦!不过若是在取经的路上用得着这冰来做啥,比如过火焰山时,那可就是解渴消暑的好东西了!你觉得呢?还有没有更有趣的问题让俺老孙来解答?"
      },
      {
        "from": "human",
        "value": "那怎么做才可以把水冻住"
      },
      {
        "from": "gpt",
        "value": "哈哈,对俺老孙来说,这可是轻而易举的事情!只需将水放在凉快的地方,或者使用法力,一吹仙气,水便能迅速结冰啦!当然,在你的世界里,把水放进冰箱的冷冻室里等一阵子,水就会变成冰块了。要是嫌慢,可以尝试用点干冰或液氮什么的,不过得小心使用哈!毕竟不像俺老孙有抗寒法力。"
      }
    ]
}
]

模型微调

我们不光可以通过命令行进行微调,还可以启动一个webui来微调推理

python 复制代码
!export USE_MODELSCOPE_HUB=1 && \
llamafactory-cli webui
  • USE_MODELSCOPE_HUB设为1,表示模型来源是ModelScope

然后就进入到了web界面:

数据集使用上述下载的train.json,点击「预览数据集」可以预览一下数据

设置学习率为1e-4,梯度累积为2,有利于模型拟合,其他的可以按需调整;

将输出目录修改为train_llama3,训练后的LoRA权重将会保存在此目录中。点击「预览命令」可展示所有已配置的参数,点击「开始」启动模型微调!

选择「Evaluate&Predict」栏,在数据集下拉列表中选择「eval」(验证集)评估模型。

点击开始然后开始评估模型,大概三分钟,这里跳过。。。

选择「Chat」栏,确保适配器路径是train_llama3,点击「加载模型」即可在Web UI中和微调模型进行对话。

模型微调之前的对话:

微调之后:

相关推荐
The_Ticker8 分钟前
CFD平台如何接入实时行情源
java·大数据·数据库·人工智能·算法·区块链·软件工程
Elastic 中国社区官方博客14 分钟前
Elasticsearch 开放推理 API 增加了对 IBM watsonx.ai Slate 嵌入模型的支持
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
jwolf214 分钟前
摸一下elasticsearch8的AI能力:语义搜索/vector向量搜索案例
人工智能·搜索引擎
有Li23 分钟前
跨视角差异-依赖网络用于体积医学图像分割|文献速递-生成式模型与transformer在医学影像中的应用
人工智能·计算机视觉
新加坡内哥谈技术43 分钟前
Mistral推出“Le Chat”,对标ChatGPT
人工智能·chatgpt
GOTXX1 小时前
基于Opencv的图像处理软件
图像处理·人工智能·深度学习·opencv·卷积神经网络
IT古董1 小时前
【人工智能】Python在机器学习与人工智能中的应用
开发语言·人工智能·python·机器学习
CV学术叫叫兽1 小时前
快速图像识别:落叶植物叶片分类
人工智能·分类·数据挖掘
WeeJot嵌入式2 小时前
卷积神经网络:深度学习中的图像识别利器
人工智能
脆皮泡泡2 小时前
Ultiverse 和web3新玩法?AI和GameFi的结合是怎样
人工智能·web3