Selective PEFT：BitFit方法深度解析与实践

一、引言

随着大语言模型（LLM）在各类自然语言处理任务中展现出惊人的能力，如何高效地将其适配到下游场景成为业界关切的焦点。传统全参数微调（Full Fine‑tuning）需要更新整个预训练模型的权重，不仅耗费巨大的计算与存储资源，还容易在单一样本偏向的任务中引发灾难性遗忘。为此，参数高效微调（Parameter‑Efficient Fine‑Tuning, PEFT） 应运而生。在众多 PEFT 技术中，BitFit （Bias‑only Fine‑tuning）以其极简的设计理念脱颖而出------它只更新模型中的偏置项（bias），而冻结其余全部参数。尽管仅涉及全模型参数量的 0.1‰～0.1% ，BitFit 却在多项自然语言理解任务上达到了与全参数微调媲美的性能。本文将结合 ACL 2022 论文 BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models 以及 Hugging Face 官方 PEFT 实践指南，深入解析 BitFit 的原理、实现细节、适用场景，并提供一份可直接运行的调优实战代码。

二、关键字

BitFit · 参数高效微调 (PEFT) · 偏置微调 · 自然语言处理 · 大语言模型 · 适配器 · 灾难性遗忘

三、文章目录

一、引言
二、关键字
三、文章目录
四、BitFit方法介绍
五、BitFit调优实战
- [2.1 准备数据集](#2.1 准备数据集)
- [2.2 分词器进行文本处理](#2.2 分词器进行文本处理)
- [2.3 训练模型](#2.3 训练模型)
- [2.4 训练超参数](#2.4 训练超参数)
- [2.5 评估](#2.5 评估)
- [2.6 训练器](#2.6 训练器)
六、BitFit的使用场景

四、BitFit方法介绍

BitFit 是一种面向 Transformer 架构的参数高效微调策略，其核心思想极其朴素：仅更新模型中所有模块的偏置项（bias），而权重矩阵（weight）和层归一化（LayerNorm）参数保持冻结。在标准的 Transformer 模型中，每一层自注意力、前馈网络乃至最终输出层通常都包含偏置参数，这些偏置项虽然参数量极少（通常不足总参数的 0.1%），却对激活值的平移有着全局影响。BitFit 通过微调这些偏置来适配下游数据分布，实验表明这种做法能够在许多场景中捕捉到足够的下游特征。

从公式上看，对于某一层的线性变换 y = Wx + b，BitFit 仅将 b 设为可训练参数，而 W 保持不变。在训练过程中，只有 < 0.1% 的总参数参与梯度更新，这大幅降低了显存用量和训练时间，同时避免了 catastrophic forgetting 的风险。论文在 BERT、RoBERTa 等模型上对 GLUE 基准进行的实验表明，BitFit 的得分几乎与全量微调持平，差距普遍在 1% 以内，部分任务甚至略有反超。

相比于另一类主流 PEFT 方法------Adapter（在原模型的层间插入小型可训练模块），BitFit 的优势在于无需修改模型结构 ，也不会引入额外的推理延迟，因为微调后的偏置项可直接融合回原始权重。结合 Hugging Face 的 transformers 生态，我们只需几行代码即可实现 BitFit，极大降低了实验门槛。

五、BitFit调优实战

示例代码来源于huggingface官网： https://huggingface.co/docs/transformers/main/training

下面我们以 Yelp 评论情感五分类任务为例，使用 google-bert/bert-base-cased 模型，通过冻结除偏置之外的所有参数来完成 BitFit 微调。实现部分仅对描述进行润色，核心代码保持不变。

2.1 准备数据集

我们使用 Hugging Face Datasets 库中的 yelp_review_full 数据集，该数据包含 5 个情感极性标签（1～5 星），适合演示多分类场景。加载后仅取少量样本以加快演示速度，实际生产可根据资源调整数据规模。

python 复制代码

from datasets import load_dataset

dataset = load_dataset("yelp_review_full")
dataset["train"][100]

2.2 分词器进行文本处理

为适配 BERT 的输入格式，我们加载与模型配套的分词器，并将文本转换为固定长度的 token 序列。padding="max_length" 确保批次内等长，truncation=True 则自动截断超长文本。

python 复制代码

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-cased")


def tokenize_function(examples):
    return tokenizer(examples["text"], padding="max_length", truncation=True)


tokenized_datasets = dataset.map(tokenize_function, batched=True)

small_train_dataset = tokenized_datasets["train"].shuffle(seed=42).select(range(1000))
small_eval_dataset = tokenized_datasets["test"].shuffle(seed=42).select(range(1000))

2.3 训练模型

加载预训练模型后，BitFit 的核心逻辑 即通过遍历所有命名参数，将名称中包含 "bias" 的参数的 requires_grad 设置为 True，其余参数一律冻结。如此，优化器只会更新偏置项，完成参数高效微调。

python 复制代码

from transformers import AutoModelForSequenceClassification

model = AutoModelForSequenceClassification.from_pretrained("google-bert/bert-base-cased", num_labels=5)

#bitfit训练核心逻辑，冻结模型的非bias参数
for name, param in model.named_parameters():
    if "bias" in name:
        param.requires_grad = True
    else:
         #不需要进行梯度计算，即该参数不需要参与微调
        param.requires_grad = False

2.4 训练超参数

TrainingArguments 用于配置训练相关的各项超参数。这里我们仅指定输出目录，更多的参数（如学习率、训练轮次等）将在后续与 Trainer 结合时统一设定，以保持简洁。

python 复制代码

from transformers import TrainingArguments

training_args = TrainingArguments(output_dir="test_trainer")

2.5 评估

为了监控模型效果，我们加载 evaluate 库中的准确率指标，并定义 compute_metrics 函数，将 logits 转换为预测标签后计算准确率。

python 复制代码

import numpy as np
import evaluate

metric = evaluate.load("accuracy")

def compute_metrics(eval_pred):
    logits, labels = eval_pred
    predictions = np.argmax(logits, axis=-1)
    return metric.compute(predictions=predictions, references=labels)

from transformers import TrainingArguments, Trainer
training_args = TrainingArguments(output_dir="test_trainer", eval_strategy="epoch")

2.6 训练器

组装模型、训练参数、数据集及评估函数，创建 Trainer 实例并启动训练。整个过程完全复现了常规微调流程，唯一区别在于模型内部仅有偏置参数参与更新。

python 复制代码

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=small_train_dataset,
    eval_dataset=small_eval_dataset,
    compute_metrics=compute_metrics,
)

trainer.train()

六、BitFit的使用场景

基于其"只动偏置、参数极少"的特点，BitFit 在以下场景中优势显著：

资源受限环境
单个 GPU 甚至 CPU 上即可训练，显存需求极低，尤其适合个人开发者或创业团队快速实验。
多任务微调与持续学习
由于冻结了绝大部分参数，可以在同一基座上同时为不同下游任务保存独立的偏置向量而几乎不增加存储负担，且任务间互不干扰，有效缓解灾难性遗忘。
快速原型验证
需要快速测试模型在某下游任务的可行性时，BitFit 提供了一种"秒级"的微调方案，用最短的时间给出性能上限的预判。
与其它 PEFT 方法结合
BitFit 的侵入性极低，可与 LoRA、Prefix‑tuning 等方法叠加使用，在保持总参数增量很小的同时进一步释放性能潜力。
线上热更新
更新后的偏置可轻松合并到原模型权重，无需重新部署完整模型，为持续迭代的线上服务提供了便捷的更新通道。