HuggingFace 的 Transformers 是目前最流行的深度学习训框架之一（100k+ Star），现在主流的大语言模型（LLaMa系列、Qwen系列、ChatGLM系列等）、自然语言处理模型（Bert系列）等，都在使用Transformers来进行预训练、微调和推理。
SwanLab 是一个深度学习实验管理与训练可视化工具，融合了Weights & Biases与Tensorboard的特点，能够方便地进行 训练可视化、多实验对比、超参数记录、大型实验管理和团队协作，并支持用网页链接的方式分享你的实验。
你可以使用Transformers快速进行模型训练，同时使用SwanLab进行实验跟踪与可视化。
transformers>=4.50.0的版本，已官方集成了SwanLab如果你的版本低于4.50.0，请使用SwanLabCallback集成。
1. 一行代码完成集成
只需要在你的训练代码中，找到TrainingArguments部分，添加report_to="swanlab"参数，即可完成集成。
python
from transformers import TrainingArguments, Trainer
args = TrainingArguments(
...,
report_to="swanlab" # [!code ++]
)
trainer = Trainer(..., args=args)2. 自定义项目名
默认下，项目名会使用你运行代码的目录名。
如果你想自定义项目名，可以设置SWANLAB_PROJECT环境变量：
::: code-group
python
import os
os.environ["SWANLAB_PROJECT"]="qwen2-sft"
bash
export SWANLAB_PROJECT="qwen2-sft"
bash
set SWANLAB_PROJECT="qwen2-sft":::
3. 案例代码：Bert文本分类
python
import evaluate
import numpy as np
from datasets import load_dataset
from transformers import AutoModelForSequenceClassification, AutoTokenizer, Trainer, TrainingArguments
def tokenize_function(examples):
return tokenizer(examples["text"], padding="max_length", truncation=True)
def compute_metrics(eval_pred):
logits, labels = eval_pred
predictions = np.argmax(logits, axis=-1)
return metric.compute(predictions=predictions, references=labels)
dataset = load_dataset("yelp_review_full")
tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
tokenized_datasets = dataset.map(tokenize_function, batched=True)
small_train_dataset = tokenized_datasets["train"].shuffle(seed=42).select(range(1000))
small_eval_dataset = tokenized_datasets["test"].shuffle(seed=42).select(range(1000))
metric = evaluate.load("accuracy")
model = AutoModelForSequenceClassification.from_pretrained("bert-base-cased", num_labels=5)
training_args = TrainingArguments(
output_dir="test_trainer",
num_train_epochs=3,
logging_steps=50,
report_to="swanlab", # [!code ++]
)
trainer = Trainer(
model=model,
args=training_args,
train_dataset=small_train_dataset,
eval_dataset=small_eval_dataset,
compute_metrics=compute_metrics,
)
trainer.train()4. SwanLabCallback集成
如果你使用的是Transformers<4.50.0的版本，或者你希望更灵活地控制SwanLab的行为，则可以使用SwanLabCallback集成。
4.1 引入SwanLabCallback
python
from swanlab.integration.transformers import SwanLabCallbackSwanLabCallback是适配于Transformers的日志记录类。
SwanLabCallback可以定义的参数有：
- project、experiment_name、description 等与 swanlab.init 效果一致的参数, 用于SwanLab项目的初始化。
- 你也可以在外部通过
swanlab.init创建项目，集成会将实验记录到你在外部创建的项目中。
4.2 传入Trainer
python
from swanlab.integration.transformers import SwanLabCallback
from transformers import Trainer, TrainingArguments
...
# 实例化SwanLabCallback
swanlab_callback = SwanLabCallback(project="hf-visualization")
trainer = Trainer(
...
# 传入callbacks参数
callbacks=[swanlab_callback],
)
trainer.train()4.3 完整案例代码
python
import evaluate
import numpy as np
import swanlab
from swanlab.integration.transformers import SwanLabCallback
from datasets import load_dataset
from transformers import AutoModelForSequenceClassification, AutoTokenizer, Trainer, TrainingArguments
def tokenize_function(examples):
return tokenizer(examples["text"], padding="max_length", truncation=True)
def compute_metrics(eval_pred):
logits, labels = eval_pred
predictions = np.argmax(logits, axis=-1)
return metric.compute(predictions=predictions, references=labels)
dataset = load_dataset("yelp_review_full")
tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
tokenized_datasets = dataset.map(tokenize_function, batched=True)
small_train_dataset = tokenized_datasets["train"].shuffle(seed=42).select(range(1000))
small_eval_dataset = tokenized_datasets["test"].shuffle(seed=42).select(range(1000))
metric = evaluate.load("accuracy")
model = AutoModelForSequenceClassification.from_pretrained("bert-base-cased", num_labels=5)
training_args = TrainingArguments(
output_dir="test_trainer",
# 如果只需要用SwanLab跟踪实验，则将report_to参数设置为"none"
report_to="none",
num_train_epochs=3,
logging_steps=50,
)
# 实例化SwanLabCallback
swanlab_callback = SwanLabCallback(experiment_name="TransformersTest")
trainer = Trainer(
model=model,
args=training_args,
train_dataset=small_train_dataset,
eval_dataset=small_eval_dataset,
compute_metrics=compute_metrics,
# 传入callbacks参数
callbacks=[swanlab_callback],
)
trainer.train()4.4 GUI效果展示
超参数自动记录：
指标记录：
4.5 拓展：增加更多回调
试想一个场景，你希望在每个epoch结束时，让模型推理测试样例，并用swanlab记录推理的结果，那么你可以创建一个继承自SwanLabCallback的新类，增加或重构生命周期函数。比如：
python
class NLPSwanLabCallback(SwanLabCallback):
def on_epoch_end(self, args, state, control, **kwargs):
test_text_list = ["example1", "example2"]
log_text_list = []
for text in test_text_list:
result = model(text)
log_text_list.append(swanlab.Text(result))
swanlab.log({"Prediction": test_text_list}, step=state.global_step)上面是一个在NLP任务下的新回调类，增加了on_epoch_end函数，它会在transformers训练的每个epoch结束时执行。
查看全部的Transformers生命周期回调函数：链接
5. 环境变量
参考：HuggingFace Docs: transformers.integrations.SwanLabCallback