NLP transformers - 文本分类

Text classification

文章目录

[Text classification](#Text classification)
- [加载 IMDb 数据集](#加载 IMDb 数据集)
- [Preprocess 预处理](#Preprocess 预处理)
- Evaluate
- Train
- Inference

本文翻译自：Text classification
https://huggingface.co/docs/transformers/tasks/sequence_classification

notebook : https://colab.research.google.com/github/huggingface/notebooks/blob/main/transformers_doc/en/pytorch/sequence_classification.ipynb

文本分类是一种常见的 NLP 任务，它为文本分配标签或类别。一些大公司在生产中运行文本分类，以实现广泛的实际应用。最流行的文本分类形式之一是情感分析，它为文本序列分配 🙂 积极、🙁 消极或 😐 中性等标签。

本指南将向您展示：

在IMDb数据集上微调DistilBERT，以确定电影评论是正面还是负面。
使用您的微调模型进行推理。

本教程中演示的任务由以下模型架构支持：

ALBERT, BART, BERT, BigBird, BigBird-Pegasus, BioGpt, BLOOM, CamemBERT, CANINE, CodeLlama, ConvBERT, CTRL, Data2VecText, DeBERTa, DeBERTa-v2, DistilBERT, ELECTRA, ERNIE, ErnieM, ESM, Falcon, FlauBERT, FNet, Funnel Transformer, Gemma, GPT-Sw3, OpenAI GPT-2, GPTBigCode, GPT Neo, GPT NeoX, GPT-J, I-BERT, Jamba, LayoutLM, LayoutLMv2, LayoutLMv3, LED, LiLT, LLaMA, Longformer, LUKE, MarkupLM, mBART, MEGA, Megatron-BERT, Mistral, Mixtral, MobileBERT, MPNet, MPT, MRA, MT5, MVP, Nezha, Nyströmformer, OpenLlama, OpenAI GPT, OPT, Perceiver, Persimmon, Phi, PLBart, QDQBert, Qwen2, Qwen2MoE, Reformer, RemBERT, RoBERTa, RoBERTa-PreLayerNorm, RoCBert, RoFormer, SqueezeBERT, StableLm, Starcoder2, T5, TAPAS, Transformer-XL, UMT5, XLM, XLM-RoBERTa, XLM-RoBERTa-XL, XLNet, X-MOD, YOSO

在开始之前，请确保已安装所有必需的库：

python 复制代码

pip install transformers datasets evaluate accelerate

我们鼓励您登录 Hugging Face 帐户，以便您可以上传模型并与社区分享。出现提示时，输入您的令牌进行登录：

python 复制代码

from huggingface_hub import notebook_login

notebook_login()

加载 IMDb 数据集

首先从 🤗 数据集库加载 IMDb 数据集：

python 复制代码

from  datasets import load_dataset

imdb = load_dataset("imdb")

然后看一个数据样例：

python 复制代码

IMDB[ "测试" ][ 0 ]
{
    "label" : 0 ,
     "text" : "我喜欢科幻小说，并且愿意忍受很多。... 一切又来了。" ,
}

该数据集中有两个字段：

text: 影评文字。
label: 0：表示负面评论或1正面评论的值。

Preprocess 预处理

下一步是加载 DistilBERT 分词器来预处理该text字段：

python 复制代码

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from _pretrained( "distilbert/distilbert-base-uncased" )

创建一个预处理函数来对text序列进行标记和截断，使其长度不超过 DistilBERT 的最大输入长度：

python 复制代码

def  preprocess_function ( Examples ):
    return tokenizer(examples[ "text" ], truncation= True )

要将预处理函数应用于整个数据集，请使用 🤗 数据集 map 函数。

您可以map通过设置 batched=True 一次处理数据集的多个元素来加快速度：

python 复制代码

tokenized_imdb = imdb.map(preprocess_function, batched=True)

现在使用 DataCollatorWithPadding 创建一批示例。在整理过程中 动态地将句子填充 到批次中的最长长度，比将整个数据集填充到最大长度更有效。

python 复制代码

from transformers import DataCollatorWithPadding

data_collator = DataCollatorWithPadding(tokenizer=tokenizer)

Evaluate

在训练期间包含指标通常有助于评估模型的性能。您可以使用 🤗 Evaluate库快速加载评估方法。对于此任务，加载准确性指标（请参阅 🤗 评估快速浏览以了解有关如何加载和计算指标的更多信息）：

python 复制代码

import evaluate

accuracy = evaluate.load("accuracy")

然后创建一个传递预测和标签的函数来compute计算准确性：

python 复制代码

import numpy as np

def compute_metrics(eval_pred):
    predictions, labels = eval_pred
    predictions = np.argmax(predictions, axis=1)
    return accuracy.compute(predictions=predictions, references=labels)

您的compute_metrics函数现在已准备就绪，您将在设置训练时返回该函数。

Train

在开始训练模型之前，请使用id2label 和 label2id ，创建预期 id 到其标签的映射：

python 复制代码

id2label = {0: "NEGATIVE", 1: "POSITIVE"}
label2id = {"NEGATIVE": 0, "POSITIVE": 1}

如果您不熟悉使用 Trainer 微调模型，

请查看基本教程：<(https://huggingface.co/docs/transformers/training#train-with-pytorch-trainer\>

您现在就可以开始训练您的模型了！使用 AutoModelForSequenceClassification 加载 DistilBERT以及预期标签的数量和标签映射：

python 复制代码

from transformers import AutoModelForSequenceClassification, TrainingArguments, Trainer

model = AutoModelForSequenceClassification.from_pretrained(
    "distilbert/distilbert-base-uncased", num_labels=2, id2label=id2label, label2id=label2id
)

此时，只剩下三步：

在TrainingArguments中定义训练超参数。
唯一必需的参数是output_dir指定保存模型的位置。您可以通过设置将此模型推送到 Hub push_to_hub=True（您需要登录 Hugging Face 才能上传模型）。
在每个 epoch 结束时，Trainer 将评估准确性并保存训练检查点。
将训练参数以及模型、数据集、分词器、数据整理器和compute_metrics函数传递给Trainer。
调用 train() 来微调您的模型。

python 复制代码

training_args = TrainingArguments(
    output_dir="my_awesome_model",
    learning_rate=2e-5,
    per_device_train_batch_size=16,
    per_device_eval_batch_size=16,
    num_train_epochs=2,
    weight_decay=0.01,
    evaluation_strategy="epoch",
    save_strategy="epoch",
    load_best_model_at_end=True,
    push_to_hub=True,
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=tokenized_imdb["train"],
    eval_dataset=tokenized_imdb["test"],
    tokenizer=tokenizer,
    data_collator=data_collator,
    compute_metrics=compute_metrics,
)

trainer.train()

当您传递 token 给Trainer时，它默认应用动态填充tokenizer。在这种情况下，您不需要显式指定数据整理器。

训练完成后，使用 push_to_hub()方法将您的模型共享到 Hub，以便每个人都可以使用您的模型：

python 复制代码

trainer.push_to_hub()

有关如何微调文本分类模型的更深入示例，请查看相应的 PyTorch 笔记本或 TensorFlow 笔记本。

Inference

太好了，现在您已经微调了模型，您可以使用它进行推理！

获取一些您想要进行推理的文本：

python 复制代码

text = "这是一部杰作。并不完全忠实于原著，但从头到尾都令人着迷。可能是三本书中我最喜欢的。"

尝试微调模型进行推理的最简单方法是在 pipeline() 中使用它。使用您的模型实例化pipeline情感分析，并将文本传递给它：

python 复制代码

from transformers import pipeline

classifier = pipeline("sentiment-analysis", model="stevhliu/my_awesome_model")
classifier(text)

如果您愿意，您还可以手动复制 pipeline 的结果：

对文本进行分词并返回 PyTorch 张量：

python 复制代码

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("stevhliu/my_awesome_model")
inputs = tokenizer(text, return_tensors="pt")

将您的输入传递给模型并返回logits：

python 复制代码

from transformers import AutoModelForSequenceClassification

model = AutoModelForSequenceClassification.from_pretrained("stevhliu/my_awesome_model")

with torch.no_grad():
    logits = model(**inputs).logits

获取概率最高的类，并使用模型的id2label映射将其转换为文本标签：

python 复制代码

predicted_class_id = logits.argmax().item()
model.config.id2label[predicted_class_id]
# -> 'POSITIVE'

2024-04-28（日）