大模型微调之LLaMA-Factory实战

目录

  • [1. 环境搭建](#1. 环境搭建)
  • [2. 开始调参](#2. 开始调参)
    • [2.1 模型配置](#2.1 模型配置)
    • [2.2 选择数据集](#2.2 选择数据集)
      • [2.2.1 使用自定义数据集](#2.2.1 使用自定义数据集)
    • [2.3 其他参数](#2.3 其他参数)
  • [3. 开始微调](#3. 开始微调)
  • [4. 模型评测](#4. 模型评测)
  • [5. 模型导出](#5. 模型导出)

1. 环境搭建

环境要求

Python ≥3.9

PyTorch & CUDA

GPU显存>24GB

安装命令

bash 复制代码
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"
llamafactory-cli webui

2. 开始调参

浏览器输入http://10.0.0.140:7861/进入调参页

2.1 模型配置

首先要选择要微调的模型,我们这里选择DeepSeek-R1-1.5B-Distill,如果预先没下载好模型,右侧模型下载源选择modelscope

2.2 选择数据集

2.2.1 使用自定义数据集

2.3 其他参数

其他参数根据需要自行调节

3. 开始微调

点击start即开始微调训练,训练完成后,可以在LLaMA-Factory-main/saves/DeepSeek-R1-1.5B-Distill/lora/train_2025-09-10-00-34-43/目录下找到微调后的模型即训练loss曲线图

从loss曲线图可以看出,虽然震荡比较厉害,但是整体趋势是一直在下降的

4. 模型评测

模型训练完成后,可以对模型进行评测

调参页选择Evaluate&Predict,然后点击Start即可。

完成后,会输出如下评测结果

5. 模型导出

在调参页选择Export,然后选在刚微调的模型,并填写导出路径,点击Export即开始导出。

导出完成后,可以在导出目录看到如下:

相关推荐
wei_shuo3 天前
Llama-2-7b 昇腾 NPU 测评总结:核心性能数据、场景适配建议与硬件选型参考
大模型·llama·昇腾
凯子坚持 c3 天前
Llama-2-7b在昇腾NPU上的六大核心场景性能基准报告
java·开发语言·llama
落798.3 天前
【在昇腾NPU上部署Llama-2-7B:从环境配置到性能测试的完整实战】
经验分享·llama·1024程序员节
缘友一世3 天前
LLama 3分组查询注意力与KV缓存机制
人工智能·深度学习·缓存·transformer·llama·gqa·kv缓存
skywalk81634 天前
在Ubuntu Linux安装brew 使用brew安装llama.cpp 运行文心Ernie大模型
人工智能·ubuntu·llama·ernie·brew·1024程序员节
七宝大爷5 天前
大模型是什么?从 GPT 到 LLaMA 的核心概念解析
gpt·llama
倔强的石头1066 天前
昇腾NPU运行Llama模型全攻略:环境搭建、性能测试、问题解决一网打尽
大模型·llama·昇腾
码农阿豪7 天前
在昇腾NPU上跑Llama 2模型:一次完整的性能测试与实战通关指南
llama
Qiuner7 天前
快速入门LangChain4j Ollama本地部署与阿里百炼请求大模型
语言模型·langchain·nlp·llama·ollama
辣大辣条7 天前
LLAMA-Factory Qwen3-1.7b模型微调
llama