再探模型训练,使用LLaMA-Factory实现LLM微调

今天,我们尝试使用LLaMA-Factory工具实现LLM的微调工作

首先,创建并激活conda环境

bash 复制代码
conda create -n llamafactory python=3.12 -y
conda activate llamafactory

然后,根据官方说明使用如下命令下载git,然后clone并从源码进行安装

bash 复制代码
apt update
apt install git -y
bash 复制代码
git clone --depth 1 https://github.com/hiyouga/LlamaFactory.git
cd LlamaFactory
pip install -e .
pip install -r requirements/metrics.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/



然后,使用如下命令进行Qwen3-4B的LoRA微调、推理与合并

bash 复制代码
llamafactory-cli train examples/train_lora/qwen3_lora_sft.yaml
llamafactory-cli chat examples/inference/qwen3_lora_sft.yaml
llamafactory-cli export examples/merge_lora/qwen3_lora_sft.yaml



相关推荐
IT_陈寒4 分钟前
Redis缓存击穿把我整不会了,原来还有这手操作
前端·人工智能·后端
YuanDaima204810 分钟前
Linux 进阶运维与 AI 环境实战:进程管理、网络排错与 GPU 监控
linux·运维·服务器·网络·人工智能
跨境数据猎手18 分钟前
跨境商城反向海淘系统开发全流程逻辑(上)
人工智能·爬虫·系统架构
听你说3237 分钟前
丈八科技与浪潮海若达成战略合作:共建人工智能产测一体化超级工厂
人工智能·科技
初心未改HD37 分钟前
深度学习之Attention注意力机制详解
人工智能·深度学习
code_pgf1 小时前
模态生成器:原理详解与推荐开源项目
人工智能·深度学习·开源
ws2019071 小时前
AUTO TECH China 2026广州汽车零部件展:从整机集成迈向核心部件的产业跃升
大数据·人工智能·科技·汽车
MomentYY1 小时前
第 3 篇:让 Agent 学会分工,LangGraph 构建多 Agent系统
人工智能·python·agent
初心未改HD1 小时前
深度学习之Transformer架构详解
人工智能·深度学习·transformer
拾年2751 小时前
一个项目教你玩转Claude Code 常用命令
人工智能