LLaMA-Factory从安装到微调全流程

LLaMA-Factory是一个微调框架。

1环境配置

1.1安装CUDA

这个就比较繁琐了,可以参考其他教程,验证是否安装成功可以用以下代码

python 复制代码
import torch
torch.cuda.is_available()
torch.cuda.current_device()

出现以下输出就说明GPU环境准备好了。

有一个小坑, 如果ubuntu执行nvcc -V时系统可能无法识别nvcc的命令。这时可以看一下 /usr/local/cuda/bin下面是否存在nvcc,如果存在就在.bashrc的最后加上

bash 复制代码
export PATH="/usr/local/cuda/bin:$PATH"
bash 复制代码
nano ~/.bashrc
source ~/.bashrc

再次执行就能正常运行了

1.2安装LLaMA-Factory

安装之前建议先用conda创建一个新的环境,这样就不会出现依赖冲突

bash 复制代码
conda create -n factory python=3.12
conda activate factory

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

然后,按理说使用 llamafactory-cli webui 这个命令启动llamafactory的操作界面了。

但是也有出现如下报错

这是因为电脑开启了代理,关闭之后就能正常启动了。

2微调准备

微调之前需要有模型,以及数据,不过LLaMA-Factory仓库里自备有一些训练数据,模型可以在huggiface上下载。

2.1下载模型

以 Qwen2.5-0.5B-Instruct (https://huggingface.co/Qwen/Qwen2.5-0.5B-Instruct/tree/main) 为例,点击下载图标,把所有文件下载到本地就算准备好模型了。

2.2准备数据

在LLaMA-Factory仓库的data文件夹里有很多数据,原始形式如下。

这个identity.json是可以微调修改模型自我认知的数据集,可以修改称自己想要的样子。

我把name和author替换成了 黑巧 和 zemelee。这样就算准备好了私有的数据集。

3微调配置

控制台执行 llamafactory-cli webui ,就会打开web操作界面。

按照上述红字修改参数,如果选择data后无法选择数据集,则需要修改dataset_info.json文件如下。需要在文件名前加上绝对路径。

同时模型下载的文件夹名需要和模型名称完全一致,否则可能导致训练不成功

然后就可以点击开始进行愉快的微调了。

4微调

微调开始后,控制台会输出大量日志,同时保存在save路径里。

其中我的训练记录有两次,第一次保存了6次,以防训练中断再次训练要从头开始。如果需要继续训练只需要在操作界面的检查点路径输入最后一次保存的文件夹路径就行了。

5测试

5.1载入原始模型

清空检查点,点击chat,加载模型,提问。

5.2加载微调模型

卸载,数输入检查点,加载,提问

模型认知已经改变了,说明微调生效了。

相关推荐
LChuck4 小时前
【大模型微调】魔搭社区GPU进行LLaMA-Factory微调大模型自我认知
人工智能·语言模型·自然语言处理·nlp·llama·魔搭社区·modelscope
燕双嘤4 小时前
Fine-tuning:微调技术,训练方式,LLaMA-Factory,ms-swift
llama
装不满的克莱因瓶3 天前
【小白AI教程】大模型知识扫盲通识
人工智能·数学建模·ai·大模型·llm·llama·rag
TGITCIC5 天前
英伟达破局1000 Token/秒!Llama 4以光速重塑AI推理边界
人工智能·大模型·llama·英伟达·大模型速度·ai赛道·大模型基座
天天爱吃肉82186 天前
【 大模型技术驱动智能网联汽车革命:关键技术解析与未来趋势】
语言模型·汽车·llama
Lilith的AI学习日记9 天前
【AI面试秘籍】| 第17期:MoE并行策略面试全攻略:从理论到调参的降维打击指南
人工智能·python·面试·职场和发展·llama
万事可爱^9 天前
RAGFlow 本地部署后如何连接本地模型
人工智能·语言模型·llama·ragflow·deepseek
Him__10 天前
AI能源危机:人工智能发展与环境可持续性的矛盾与解决之道
人工智能·ai·chatgpt·aigc·llama
小技工丨11 天前
LLaMA-Factory:了解webUI参数
人工智能·llm·llama·llama-factory
AI360labs_atyun11 天前
谷歌前CEO TED演讲解析:AI 红利的三年窗口期与行业重构
人工智能·科技·ai·重构·llama·教育