再探模型训练,使用LLaMA-Factory实现LLM微调

今天,我们尝试使用LLaMA-Factory工具实现LLM的微调工作

首先,创建并激活conda环境

bash 复制代码
conda create -n llamafactory python=3.12 -y
conda activate llamafactory

然后,根据官方说明使用如下命令下载git,然后clone并从源码进行安装

bash 复制代码
apt update
apt install git -y
bash 复制代码
git clone --depth 1 https://github.com/hiyouga/LlamaFactory.git
cd LlamaFactory
pip install -e .
pip install -r requirements/metrics.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/



然后,使用如下命令进行Qwen3-4B的LoRA微调、推理与合并

bash 复制代码
llamafactory-cli train examples/train_lora/qwen3_lora_sft.yaml
llamafactory-cli chat examples/inference/qwen3_lora_sft.yaml
llamafactory-cli export examples/merge_lora/qwen3_lora_sft.yaml



相关推荐
北巷`几秒前
OpenClaw内部原理完全解析:从Gateway到记忆系统的AI Agent基础设施
人工智能·gateway
做萤石二次开发的哈哈2 分钟前
萤石开放平台×OpenClaw: 玩手机检测及实时告警技能包发布
网络·人工智能·ai·智能体
九鼎创展科技3 分钟前
发科MT8791(Genio 520)处理器技术详解 及同平台芯片横向对比与最优选型
人工智能·科技·嵌入式硬件·架构·边缘计算
ん贤4 分钟前
AI 大模型落地系列|Eino 组件核心篇:文档进入 RAG 之前,Loader 和 Parser 到底各管什么
人工智能·ai·golang·eino
编程小风筝5 分钟前
机器学习的半监督学习可以实现什么功能?
人工智能·学习·机器学习
科德航空的张先生7 分钟前
空管模拟器在塔台指挥训练中的应用与效能分析
人工智能·算法
安全渗透Hacker9 分钟前
阿里云百炼 + VS Code + Kilo 完整实战教程
人工智能·阿里云·ai·云计算·ai编程
拉拉拉拉拉拉拉马9 分钟前
目标检测与目标跟踪的区别:结合具体模型结构深入理解
人工智能·目标检测·目标跟踪
迷藏49415 分钟前
**基于Python与Neo4j的知识图谱构建实践:从数据到语义网络的跃迁**在人工智能与大数据深度融合
java·人工智能·python·neo4j
冬夜戏雪15 分钟前
agent项目2部署 multiagentppt
人工智能