大模型微调之LLaMA-Factory实战

目录

  • [1. 环境搭建](#1. 环境搭建)
  • [2. 开始调参](#2. 开始调参)
    • [2.1 模型配置](#2.1 模型配置)
    • [2.2 选择数据集](#2.2 选择数据集)
      • [2.2.1 使用自定义数据集](#2.2.1 使用自定义数据集)
    • [2.3 其他参数](#2.3 其他参数)
  • [3. 开始微调](#3. 开始微调)
  • [4. 模型评测](#4. 模型评测)
  • [5. 模型导出](#5. 模型导出)

1. 环境搭建

环境要求

Python ≥3.9

PyTorch & CUDA

GPU显存>24GB

安装命令

bash 复制代码
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"
llamafactory-cli webui

2. 开始调参

浏览器输入http://10.0.0.140:7861/进入调参页

2.1 模型配置

首先要选择要微调的模型,我们这里选择DeepSeek-R1-1.5B-Distill,如果预先没下载好模型,右侧模型下载源选择modelscope

2.2 选择数据集

2.2.1 使用自定义数据集

2.3 其他参数

其他参数根据需要自行调节

3. 开始微调

点击start即开始微调训练,训练完成后,可以在LLaMA-Factory-main/saves/DeepSeek-R1-1.5B-Distill/lora/train_2025-09-10-00-34-43/目录下找到微调后的模型即训练loss曲线图

从loss曲线图可以看出,虽然震荡比较厉害,但是整体趋势是一直在下降的

4. 模型评测

模型训练完成后,可以对模型进行评测

调参页选择Evaluate&Predict,然后点击Start即可。

完成后,会输出如下评测结果

5. 模型导出

在调参页选择Export,然后选在刚微调的模型,并填写导出路径,点击Export即开始导出。

导出完成后,可以在导出目录看到如下:

相关推荐
GPU实战笔记5 天前
本地跑不动 llama.cpp,临时租云 GPU 怎么搭?从启动服务到环境复用
java·服务器·网络·人工智能·深度学习·llama
牛马工作号8 天前
RK3588 使用 rk-llama.cpp + RKNPU2 部署 Qwen3.5:从零开始的 NPU 本地大模型实战
人工智能·语言模型·llama
书源丶8 天前
Qwen3-Embedding-0.6B 纯 CPU
网络·语言模型·embedding·llama
论文复现现场9 天前
Llama/Qwen 70B 部署需要几张 RTX 4090?2卡、4卡、8卡显存、量化与 vLLM 选型
llama·qwen·vllm·大模型推理·大模型部署·rtx4090
谢白羽9 天前
在4×B300用SGLang部署DeepSeek-V4.1 Flash优化实录
笔记·python·llm·llama·sglang
renzao_ai13 天前
本地 35B 大模型部署实战:Ollama 跑 Ornith-35B 全流程
python·llama·免费ai大模型
Είναι η κοπέλα13 天前
本地大模型部署完全指南:Ollama / vLLM / llama.cpp / MLX 四大引擎横评与选型实战
macos·llama·vllm
小饕13 天前
RK3588 NPU 跑大模型实测:rknn-llm 解码 25.9 tok/s,是 llama.cpp 的 4 倍!附三天完整踩坑记录
人工智能·机器人·llama
一航jason13 天前
Android平台推理框架及试用场景模型对比
android·人工智能·ai·架构·ai编程·llama
一航jason13 天前
Android 端侧大模型推理框架对比
android·人工智能·ai·ai编程·llama·ai-native