再探模型训练,使用LLaMA-Factory实现LLM微调

今天,我们尝试使用LLaMA-Factory工具实现LLM的微调工作

首先,创建并激活conda环境

bash 复制代码
conda create -n llamafactory python=3.12 -y
conda activate llamafactory

然后,根据官方说明使用如下命令下载git,然后clone并从源码进行安装

bash 复制代码
apt update
apt install git -y
bash 复制代码
git clone --depth 1 https://github.com/hiyouga/LlamaFactory.git
cd LlamaFactory
pip install -e .
pip install -r requirements/metrics.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/



然后,使用如下命令进行Qwen3-4B的LoRA微调、推理与合并

bash 复制代码
llamafactory-cli train examples/train_lora/qwen3_lora_sft.yaml
llamafactory-cli chat examples/inference/qwen3_lora_sft.yaml
llamafactory-cli export examples/merge_lora/qwen3_lora_sft.yaml



相关推荐
Litluecat8 小时前
2026年7月23日科技热点新闻
人工智能·科技·新闻·每日·速览
美团技术团队8 小时前
下一代搜索智能体评测基准!美团开源LoHoSearch,用知识图谱校准AI能力认知
人工智能
武子康8 小时前
Token 单价更低,Agent 任务为什么反而更贵:4 层成本口径 + 最小事件账本 + 3 个决策问题
人工智能·agent·ai编程
叫我Paul就好8 小时前
RAG 入门到精通 - 构建评估系统
人工智能·rag
学术小李9 小时前
基于Pytorch,如何用CUDA自己写算子?(一)
人工智能·pytorch·python
九硕智慧建筑一体化厂家9 小时前
直流照明降损节能,智慧路灯点亮智慧城市脉络
人工智能·智慧城市
秦先生在广东9 小时前
Block Buzz:用 Nostr 协议把 AI Agent 变成真正的队友,而非自动化幽灵
人工智能
观测云9 小时前
观测云基于 AI Agent Teams 能力的场景实践
人工智能
小程故事多_809 小时前
算力工厂与安全沙箱,企业AI规模化落地的两条核心生命线
人工智能·安全
吨吨ai9 小时前
2026年7月更新:ChatGPT、Codex、Pro、Plus 背后的 AI Determinism 问题(GPT-5.6 工程化技术分享)
人工智能·gpt·chatgpt