NLP:微调BERT进行文本分类

本篇博客的重点在于BERT的使用。

transformers包版本:4.44.2

1. 微调BERT进行文本分类

  这里我们使用stanford大学的SST2数据集来演示BERT模型的微调过程。SST-2数据集(Stanford Sentiment Treebank 2)是一个用于情感分类的经典数据集,常用于自然语言处理(NLP)领域的情感分析任务。

  • 第1步: 下载数据。其代码如下:
python 复制代码
import pandas as pd
from transformers import BertTokenizer
from datasets import DatasetDict, Dataset
from torch.utils.data import DataLoader
from transformers import AutoModelForSequenceClassification, Trainer, TrainingArguments

splits = {'train': 'data/train-00000-of-00001.parquet', 
          'validation': 'data/validation-00000-of-00001.parquet', 
          'test': 'data/test-00000-of-00001.parquet'}
train = pd.read_parquet("hf://datasets/stanfordnlp/sst2/" + splits["train"])
validation = pd.read_parquet("hf://datasets/stanfordnlp/sst2/" + splits["validation"])
test = pd.read_parquet("hf://datasets/stanfordnlp/sst2/" + splits["test"])
dataset = DatasetDict({'train': Dataset.from_pandas(train), 
                       'validation': Dataset.from_pandas(validation), 
                       'test': Dataset.from_pandas(test)})

要注意一下,这里并没有使用datasets包从hugging face上直接下载数据集的方式来获取数据,这是因为使用load_datesets方法获取数据时仍然会提示:NotImplementedError: Loading a dataset cached in a LocalFileSystem is not supported

  • 第2步: 构造训练集、验证集和测试集

SST2数据集中训练集(train)共67349条,验证集(validation)共872条,而测试集(test)共1821条。因为训练集数目较大微调会比较耗时,所以从这三个数据集分别抽取出了1000条、200条、200条进行后续的任务。具体代码如下:

python 复制代码
dataset['train'] = dataset['train'].shuffle(seed=42).select(range(1000))
dataset['validation'] = dataset['validation'].shuffle(seed=42).select(range(200))
dataset['test'] = dataset['test'].shuffle(seed=42).select(range(200))
print(dataset)

其输出结果如下:

bash 复制代码
Dataset({
    features: ['idx', 'sentence', 'label'],
    num_rows: 1000
})
Dataset({
    features: ['idx', 'sentence', 'label'],
    num_rows: 200
})
Dataset({
    features: ['idx', 'sentence', 'label'],
    num_rows: 200
})
  • 第3步:从bert中提取嵌入

训练集、验证集及测试集生成后,接着需要将这些语料全都转化成embedding向量。具体代码如下:

python 复制代码
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
def tokenize_function(examples):
    return tokenizer(examples['sentence'], padding='max_length', truncation=True)
dataset =dataset.map(tokenize_function, batched=True)
dataset=dataset.remove_columns(['sentence',"idx"])
dataset=dataset.rename_column("label","labels")
dataset.set_format("torch")
train_dataset=dataset['train']
eval_dataset=dataset['validation']
test_dataset=dataset['test']
  • 第4步:模型训练。 具体代码如下:
python 复制代码
model=BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)
training_args = TrainingArguments(
    output_dir='results',         
    per_device_train_batch_size=8,  
    per_device_eval_batch_size=8,      
    num_train_epochs=1,
)
trainer = Trainer(
    model=model,                         
    args=training_args,                 
    train_dataset=train_dataset,        
    eval_dataset=eval_dataset,
)
trainer.train()
trainer.evaluate()
trainer.save_model("results")

关于上述代码,有以下几点需要说明:

  • 训练模型的选择: tranformers库中有多个分类模型,其中BertForSequenceClassification类适用于序列分类任务,比如情感分析和文本分类;而BertForTokenClassification类适用于token级的分类任务,比如命名实体识别。
  • TrainingArguments方法中的主要参数及其作用如下表所示:
参数名 作用
output_dir 指定模型和训练日志保存的记录;
num_train_epochs 设置训练的周期数(即遍历整个训练数据集的次数,指的是整个训练集将被遍历多少次以进行训练);
per_device_train_batch_size 设置每个设备(如GPU)上的训练批次大小,训练批次是指在一次训练迭代中,模型同时处理的数据样本数量;
per_device_eval_batch_size 设置每个设备上的评估批次大小;
logging_dir 指定训练日志的保存目录;
evaluation_strategy 设置评估策略。可以是 'no'(不评估)、'steps'(每隔一定步数评估)或 'epoch'(每个周期评估);
save_total_limit 设置保存模型检查点的总数限制,超过限制的检查点会被删除;
fp16 启用半精度浮点数(FP16)训练,以减少显存使用并加速训练(需要支持 FP16 的硬件);

参考资料

相关推荐
chh5632 天前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert
电科_银尘4 天前
【大模型算法与工程 05】分类、回归与排序指标:怎样评价一个模型
算法·分类·回归
小宋10215 天前
AI 爬虫把大学图书馆站点拖垮:按行为指纹给爬虫分类、按类发配额、用边缘缓存分层,以带宽成本结构和真实用户 P95 延迟定档
人工智能·爬虫·分类
Solange__5 天前
Blender 3D模型优化:普通复制、共享网格、实例、合并怎么选?
人工智能·3d·ai·自然语言处理·编辑器·blender·材质
2601_967980116 天前
使用gensim处理文本(1)语料库与词向量空间
python·自然语言处理·gensim·词向量·文本分析
一只废狗狗狗狗狗狗狗狗狗6 天前
自监督式学习
人工智能·深度学习·机器学习·bert
Martina_03216 天前
AI生成的3D白模单帧没问题,镜头一移动就被挡?用6步检查遮挡与构图
图像处理·人工智能·数学建模·3d·ai·自然语言处理·游戏策划
2301_790355976 天前
【技术拆解】短视频配音自动化流程:从文案预处理到 SRT 字幕的 9 个环节
自然语言处理·音视频
BYSJMG8 天前
计算机毕业设计选题推荐:【基于深度学习的车辆损坏严重程度评估方法研究】ResNet50 图像分类
人工智能·深度学习·目标检测·机器学习·计算机视觉·分类·课程设计
kaixin_啊啊10 天前
【零基础学AI】第 28 章——大语言模型怎样训练出来
人工智能·语言模型·自然语言处理