Unsloth，为大语言模型（LLM）微调设计的高效开源框架

一、Unsloth 核心特点

Unsloth 解决了传统 LLM 微调的两大痛点：

极低显存占用：相比原生 Hugging Face 训练，Unsloth 能将显存占用降低 50%-70%，比如微调 7B 模型仅需 4-8GB 显存，13B 模型仅需 8-12GB 显存。
极致速度：集成了 Flash Attention 2、LoRA/QLoRA 优化、混合精度训练等技术，训练速度比普通方法快 2-5 倍。
易用性：API 完全兼容 Hugging Face Transformers，新手无需重构代码，只需少量修改即可迁移。
支持主流模型：适配 Llama 2/3、Mistral、Phi-2/3、Gemma 等主流开源 LLM。

二、Unsloth 安装（新手友好）

Unsloth 支持 Linux/Windows（WSL2）/Colab，推荐用 Python 虚拟环境安装：

复制代码

# 创建并激活虚拟环境（可选但推荐）
python -m venv unsloth-env
source unsloth-env/bin/activate  # Linux/Mac
# unsloth-env\Scripts\activate  # Windows

# 安装Unsloth核心包（自动适配CUDA版本）
pip install "unsloth[colab-new] @ git+https://github.com/unsloth/unsloth.git"
# 额外安装依赖（数据集、训练器等）
pip install --no-deps xformers trl peft accelerate bitsandbytes

三、Unsloth 核心用法（微调 Llama 3 8B）

下面是一个完整的入门示例：基于 Unsloth 微调 Llama 3 8B 模型，实现简单的文本生成任务。

复制代码

# 1. 导入核心库
from unsloth import FastLanguageModel
import torch
from trl import SFTTrainer
from transformers import TrainingArguments
from datasets import load_dataset

# 2. 加载模型和Tokenizer（关键：Unsloth的FastLanguageModel）
# 支持的模型：unsloth/llama-3-8b-bnb-4bit, unsloth/mistral-7b-v0.3-bnb-4bit等
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/llama-3-8b-bnb-4bit",  # 4bit量化的Llama 3 8B，显存占用极低
    max_seq_length = 2048,                       # 最大序列长度
    dtype = torch.float16,                       # 混合精度
    load_in_4bit = True,                         # 启用4bit加载
)

# 3. 应用LoRA微调（Unsloth优化的LoRA，显存占用更低）
model = FastLanguageModel.get_peft_model(
    model,
    r = 16,               # LoRA秩，越大效果越好但显存占用越高（推荐8-32）
    target_modules = ["q_proj", "k_proj", "v_proj", "o_proj"],  # 微调的模块
    lora_alpha = 16,
    lora_dropout = 0,     # 禁用Dropout提升稳定性
    bias = "none",
    use_gradient_checkpointing = "unsloth",  # Unsloth专属优化，进一步降显存
    random_state = 42,
)

# 4. 加载数据集（示例：Alpaca格式的中文数据集）
dataset = load_dataset("yahma/alpaca-cleaned", split = "train[:1%]")  # 取1%数据快速测试

# 格式化数据（适配Llama 3的prompt格式）
def format_prompt(sample):
    return f"""<|begin_of_text|><|start_header_id|>user<|end_header_id|>

{sample['instruction']}

<|start_header_id|>assistant<|end_header_id|>

{sample['output']}<|end_of_text|>"""

dataset = dataset.map(lambda x: {"text": format_prompt(x)})

# 5. 配置训练器
trainer = SFTTrainer(
    model = model,
    train_dataset = dataset,
    dataset_text_field = "text",
    max_seq_length = 2048,
    tokenizer = tokenizer,
    args = TrainingArguments(
        per_device_train_batch_size = 2,  # 批次大小（根据显存调整）
        gradient_accumulation_steps = 4,
        warmup_steps = 5,
        max_steps = 60,                   # 训练步数（小数据测试用）
        learning_rate = 2e-4,
        fp16 = not torch.cuda.is_bf16_supported(),
        bf16 = torch.cuda.is_bf16_supported(),
        logging_steps = 1,
        output_dir = "unsloth-llama3-8b-finetuned",
        optim = "adamw_8bit",             # 8bit优化器，降显存
        weight_decay = 0.01,
        lr_scheduler_type = "linear",
    ),
)

# 6. 开始训练
trainer.train()

# 7. 推理测试（Unsloth优化的生成函数）
FastLanguageModel.for_inference(model)  # 切换到推理模式
inputs = tokenizer(
    "<|begin_of_text|><|start_header_id|>user<|end_header_id|>\n介绍一下Unsloth<|start_header_id|>assistant<|end_header_id|>\n",
    return_tensors = "pt"
).to("cuda")

outputs = model.generate(**inputs, max_new_tokens = 200, use_cache = True)
print(tokenizer.decode(outputs[0], skip_special_tokens = False))

四、关键代码解释

模型加载 ：FastLanguageModel.from_pretrained 是 Unsloth 的核心函数，自动应用 4bit 量化、Flash Attention 等优化，无需手动配置。
LoRA 配置 ：get_peft_model 封装了 Unsloth 优化的 LoRA，use_gradient_checkpointing = "unsloth" 是专属优化，比原生梯度检查点更省显存。
训练器：复用 Hugging Face TRL 的 SFTTrainer，仅需少量参数调整，新手无需从零写训练逻辑。

五、新手注意事项

GPU 要求：至少需要支持 CUDA 的 NVIDIA GPU（算力≥7.0），4GB 显存可跑 7B 模型（4bit），8GB 以上体验更好。
环境适配：Windows 需用 WSL2，直接在 Windows 原生环境可能出现依赖问题；Colab 免费版（T4 GPU）可直接运行。
模型选择 ：优先用 Unsloth 官方提供的量化模型（如unsloth/llama-3-8b-bnb-4bit），避免手动量化导致的兼容性问题。

总结

Unsloth 是 LLM 微调的高效框架，核心优势是低显存、高速度，适配消费级 GPU，API 兼容 Hugging Face 生态。
核心用法：通过FastLanguageModel加载优化后的模型，结合 LoRA 和 SFTTrainer 完成微调，推理时切换到for_inference模式。
新手入门优先选择 4bit 量化的 7B/8B 模型（如 Llama 3 8B），显存占用低、训练速度快，适合快速验证思路。