1. LLaMA-Factory
-
「GitHub」: https://github.com/hiyouga/LLaMA-Factory
-
「特点」:
-
-
支持 100+ 种 LLM 的微调（LLaMA、Mistral、Qwen、ChatGLM 等）
-
提供 WebUI 界面，零代码微调
-
支持 LoRA、QLoRA、全参数微调等多种方法
-
内置数据集处理和评估功能
-
2. PEFT (Parameter-Efficient Fine-Tuning)
-
「GitHub」: https://github.com/huggingface/peft
-
「特点」:
-
-
Hugging Face 官方出品
-
支持 LoRA、Prefix Tuning、P-Tuning、Adapter 等方法
-
与 Transformers 库深度集成
-
显存占用低，适合消费级显卡
-
3. Axolotl
-
「GitHub」: https://github.com/OpenAccess-AI-Collective/axolotl
-
「特点」:
-
-
配置驱动，通过 YAML 文件定义训练流程
-
支持多种模型和微调方法
-
内置 DeepSpeed、FSDP 分布式训练支持
-
4. Unsloth
-
「GitHub」: https://github.com/unslothai/unsloth
-
「特点」:
-
-
训练速度提升 2-5 倍，显存减少 80%
-
支持 LLaMA、Mistral、Gemma 等模型
-
对 QLoRA 优化极佳
-
5. DeepSpeed
-
「GitHub」: https://github.com/microsoft/DeepSpeed
-
「特点」:
-
-
微软出品，专注大规模分布式训练
-
ZeRO 优化器大幅降低显存需求
-
适合超大模型训练
-
6. Swift (ModelScope)
-
「GitHub」: https://github.com/modelscope/swift
-
「特点」:
-
-
阿里达摩院出品
-
对国产模型（Qwen、ChatGLM）支持好
-
提供完整的训练、推理、部署流程
-
快速选择建议
| 场景 | 推荐框架 |
|---|---|
| 新手入门、零代码 | LLaMA-Factory |
| Hugging Face 生态 | PEFT |
| 显存有限、追求速度 | Unsloth |
| 超大规模分布式训练 | DeepSpeed |
| 国产模型微调 | Swift |