再探模型训练,使用LLaMA-Factory实现LLM微调

今天,我们尝试使用LLaMA-Factory工具实现LLM的微调工作

首先,创建并激活conda环境

bash 复制代码
conda create -n llamafactory python=3.12 -y
conda activate llamafactory

然后,根据官方说明使用如下命令下载git,然后clone并从源码进行安装

bash 复制代码
apt update
apt install git -y
bash 复制代码
git clone --depth 1 https://github.com/hiyouga/LlamaFactory.git
cd LlamaFactory
pip install -e .
pip install -r requirements/metrics.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/



然后,使用如下命令进行Qwen3-4B的LoRA微调、推理与合并

bash 复制代码
llamafactory-cli train examples/train_lora/qwen3_lora_sft.yaml
llamafactory-cli chat examples/inference/qwen3_lora_sft.yaml
llamafactory-cli export examples/merge_lora/qwen3_lora_sft.yaml



相关推荐
聊聊科技2 小时前
编曲伴奏软件有哪些,音乐人分享AI编曲软件助力原创音乐创作
人工智能
AndrewHZ2 小时前
【AI黑话日日新】什么是访存bound?
人工智能·语言模型·大模型·cpu·访存·计算逻辑
天一生水water2 小时前
地质工程一体化从入门到精通:油气勘探开发核心技术教程
人工智能·智慧油田
努力也学不会java2 小时前
【Spring Cloud】环境和工程基本搭建
java·人工智能·后端·spring·spring cloud·容器
狮子座明仔2 小时前
PRL:让大模型推理不再“开盲盒“——过程奖励学习的理论与实践
人工智能·深度学习·学习·机器学习·语言模型
发哥来了2 小时前
主流AI视频生成模型商用化能力评测:五大核心维度深度对比
人工智能·音视频
博思云为2 小时前
企业级智能PPT生成:Amazon云+AI驱动,全流程自动化提效
人工智能·语言模型·云原生·数据挖掘·云计算·语音识别·aws
龙山云仓2 小时前
No126:AI中国故事-仓颉:智能的符号编码、知识压缩与文明记忆
大数据·人工智能·深度学习·机器学习·计算机视觉·重构