Google 新 LLM 仅需 0.5GB 内存即可运行——如何在本地对其进行微调


几天前,Google 悄然发布了一款小型 AI 模型,名为 Gemma 3 270M。

它体型极小,甚至能在配置极低的设备上运行。当然,也不是真的能在"土豆"(指完全无法使用的设备)上运行,但它仅需约 0.5GB 内存。这......基本上相当于没占多少内存。

显然,我忍不住想找个有趣的方向对它进行微调,于是选择了国际象棋这个主题。

我的目标是:给它一个接近结束的国际象棋棋局,问它"缺失的走法是什么?",看看它能否准确给出答案。

全程离线进行。不需要云端 GPU,也不会产生让我心疼的信用卡账单。

我使用的工具

以下是我为这次实验准备的小工具集:

  • Unsloth AI------能让小型模型的微调速度快到惊人。

  • Hugging Face Transformers------因为它是本地运行 LLM 的标准工具。

  • ChessInstruct 数据集------包含带有一个缺失走法的棋局,用于训练。

步骤 1:加载模型

这一步很简单。通过 Unsloth 加载 Gemma 3 即可:

ini 复制代码
# pip install unsloth
from unsloth import FastLanguageModel
import torch

MODEL = "unsloth/gemma-3-270m-it"
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = MODEL,
    max_seq_length = 2048,
    dtype = None,
    load_in_4bit = False,
    full_finetuning = False
)

搞定。模型已加载。

步骤 2:LoRA 微调(又称"小幅修改,显著效果")

我没有对整个模型重新训练(那样会让我的笔记本电脑"过载"),而是使用了 LoRA(低秩适应)。可以把它理解为:不给 AI 更换整个"大脑",只给它新增几个神经元。

ini 复制代码
from unsloth import FastModel

model = FastModel.get_peft_model(
    model,
    r = 128,
    target_modules = [
        "q_proj", "k_proj", "v_proj", "o_proj",
        "gate_proj", "up_proj", "down_proj"
    ],
    use_gradient_checkpointing = "unsloth",
    lora_alpha = 128,
    lora_dropout = 0,
    bias = "none",
    random_state = 3407
)

步骤 3:获取数据集

该数据集包含不完整的棋局。任务(在本次实验中即 AI 的任务)是补全其中缺失的走法。

ini 复制代码
from datasets import load_dataset
dataset = load_dataset("Thytu/ChessInstruct", split="train[:10000]")
print(dataset[0])

样本条目示例:

sql 复制代码
走法(Moves):c2c4、g8f6、b1c3、......、?,结果(result):1/2-1/2
预期答案(Expected):e6f7

步骤 4:将数据处理为适用于对话的格式

模型偏好以结构化的方式"交互",因此我将数据封装成了对话格式。

python 复制代码
from unsloth.chat_templates import standardize_data_formats

dataset = standardize_data_formats(dataset)
def convert_to_chatml(example):
    return {
        "conversations": [
            {"role": "system", "content": example["task"]},
            {"role": "user", "content": str(example["input"])},
            {"role": "assistant", "content": example["expected_output"]}
        ]
    }
dataset = dataset.map(convert_to_chatml)

步骤 5:训练设置

设置较小的批次大小、少量训练步数,即可启动训练。

ini 复制代码
from trl import SFTTrainer, SFTConfig

trainer = SFTTrainer(
    model=model,
    tokenizer=tokenizer,
    train_dataset=dataset,
    args=SFTConfig(
        per_device_train_batch_size=2,
        gradient_accumulation_steps=4,
        max_steps=100,
        learning_rate=5e-5,
        optim="adamw_8bit"
    )
)

步骤 6:开始训练!

ini 复制代码
trainer_stats = trainer.train()
相关推荐
程序视点1 天前
告别Cursor低效编程!Cursor高手都在用的7个沟通秘诀,最后一个太关键
aigc·ai编程·cursor
春末的南方城市1 天前
港大和字节携手打造WorldWeaver:以统一建模方案整合感知条件,为长视频生成领域带来质量与一致性双重飞跃。
人工智能·深度学习·机器学习·计算机视觉·aigc·音视频
居7然1 天前
JoyAgent-JDGenie深度评测:从开箱到实战,多智能体框架的工业级答卷
分布式·自然语言处理·架构·transformer·agent
PetterHillWater1 天前
GLM-4.6与DeepSeek-V3.2-Exp发布
aigc
streaker3031 天前
前端开发者的 AI 学习笔记 🚀
前端·openai
Mintopia2 天前
领域适配 AIGC:垂直行业 Web 应用的微调技术实践
前端·javascript·aigc
春末的南方城市2 天前
苏大团队联合阿丘科技发表异常生成新方法:创新双分支训练法,同步攻克异常图像生成、分割及下游模型性能提升难题。
人工智能·科技·深度学习·计算机视觉·aigc
春末的南方城市2 天前
AI视频生成进入多镜头叙事时代!字节发布 Waver 1.:一句话生成 10 秒 1080p 多风格视频,创作轻松“一键”达!
人工智能·深度学习·机器学习·计算机视觉·aigc
机器之心2 天前
节前重磅:开源旗舰模型新SOTA,智谱GLM-4.6问世
人工智能·openai