使用 LLaMA-Factory 对 DeepSeek R1进行微调教程

如本教程有问题，感谢大家在评论区指出。

如操作过程中遇到解决不了的问题，可以在评论区提问，作者看到了会回复。

微调简介

模型微调通过在特定任务数据集上继续训练预训练模型来进行，使得模型能够学习到与任务相关的特定领域知识。

微调步骤

准备数据集，数据集格式如下：
{
"instructions": "你好",
"input": "",
"output": "你好，我是DeepseekR1模型，很高兴为您服务！"
}

instructions ：这里包含的是对模型的指示或者说是任务描述，告诉模型应该做什么。
input ：这是具体的输入数据，基于上面的指示（instructions），模型将根据这部分内容来生成回答或执行特定的任务。在这个例子中，input字段是空的，意味着没有特定的额外信息或数据提供给模型处理。
output：这是模型基于instructions和input生成的回答或结果。

模型选择
迁移学习：在新数据集上继续训练模型，同时保留预训练模型的知识
参数调整
模型评估：在验证集上评估模型的性能

微调的优势

显著减少所需的数据量和计算资源

环境准备

https://modelscope.cn/my/mynotebook

LLaMA-Factory 讲解

下载 LLaMA-Factory 仓库

bash 复制代码

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

安装

java 复制代码

cd LLaMA-Factory
pip uninstall -y vllm
pip install -e ".[torch,metrics]"

若出现环境冲突，执行如下命令安装

java 复制代码

pip install --no-deps -e .

检查

java 复制代码

llamafactory-cli version

启动

java 复制代码

export USE_MODELSCOPE_HUB=1 && llamafactory-cli webui

配置内网穿透

https://natapp.cn

下载 natapp
上传到服务器

配置 natapp 客户端

在服务器执行如下命令

java 复制代码

cd natapp
chmod a+x natapp
./natapp -authtoken=

authtoken 通过如下位置获取

chmod 是 Change Mode 的缩写

a 表示 "all"（所有用户），包括文件的所有者（owner）、所属组（group）和其他用户（others）。

+x 表示为这些用户添加"可执行"权限（execute permission）。

访问链接

看到如下页面

微调实践

下载模型

java 复制代码

export HF_ENDPOINT=https://hf-mirror.com
export HF_HOME=/mnt/workspace/huggingface
echo $HF_HOME
huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B
llamafactory-cli webui

进入 web-ui

deepseek-r1模型位置：

java 复制代码

/mnt/workspace/huggingface/hub/models--deepseek-ai--DeepSeek-R1-Distill-0wen-1.5B/
snapshots/ad9f0ae0864d7fbcd1cd905e3c6c5b069cc8b562

------ 下面内容大家通过 web-ui 自己探索就好了～～这里不过多截图了～～

训练

数据集准备
- LLaMA-Factory/data
- dataset_info.json 所有数据集信息，在此处添加自定义数据集
  - train_data.json
  - eval_data.json
- 使用 easy-dataset 构造数据集 https://github.com/ConardLi/easy-dataset/blob/main/README.zh-CN.md

导出

导出位置：/mnt/workspace/LLaMA-Factory/merge