再探模型训练,使用LLaMA-Factory实现LLM微调

今天,我们尝试使用LLaMA-Factory工具实现LLM的微调工作

首先,创建并激活conda环境

bash 复制代码
conda create -n llamafactory python=3.12 -y
conda activate llamafactory

然后,根据官方说明使用如下命令下载git,然后clone并从源码进行安装

bash 复制代码
apt update
apt install git -y
bash 复制代码
git clone --depth 1 https://github.com/hiyouga/LlamaFactory.git
cd LlamaFactory
pip install -e .
pip install -r requirements/metrics.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/



然后,使用如下命令进行Qwen3-4B的LoRA微调、推理与合并

bash 复制代码
llamafactory-cli train examples/train_lora/qwen3_lora_sft.yaml
llamafactory-cli chat examples/inference/qwen3_lora_sft.yaml
llamafactory-cli export examples/merge_lora/qwen3_lora_sft.yaml



相关推荐
恣逍信点几秒前
《凌微经 · 理悖相涵》第六章 理悖相涵——关系构型之模因
人工智能·科技·程序人生·生活·交友·哲学
晚霞的不甘2 分钟前
Flutter for OpenHarmony 可视化教学:A* 寻路算法的交互式演示
人工智能·算法·flutter·架构·开源·音视频
小程故事多_802 分钟前
Agent Infra核心技术解析:Sandbox sandbox技术原理、选型逻辑与主流方案全景
java·开发语言·人工智能·aigc
陈天伟教授4 分钟前
人工智能应用- 语言处理:02.机器翻译:规则方法
人工智能·深度学习·神经网络·语言模型·自然语言处理·机器翻译
人机与认知实验室19 分钟前
一些容易被人工智能取代的职业
人工智能
茶栀(*´I`*)24 分钟前
【NLP入门笔记】:自然语言处理基础与文本预处理
人工智能·自然语言处理·nlp
却道天凉_好个秋27 分钟前
Tensorflow数据增强(三):高级裁剪
人工智能·深度学习·tensorflow
藦卡机器人35 分钟前
国产机械臂做的比较好的品牌有哪些?
大数据·数据库·人工智能
迎仔1 小时前
06-AI开发进阶
人工智能
陈天伟教授1 小时前
人工智能应用- 语言处理:01.机器翻译:人类语言的特点
人工智能·自然语言处理·机器翻译