【传知代码】BERT论文解读及情感分类实战-论文复现

文章目录

概述
原理介绍
- BERT模型架构
- [任务1 Masked LM（MLM）](#任务1 Masked LM（MLM）)
- [任务2 Next Sentence Prediction (NSP)](#任务2 Next Sentence Prediction (NSP))
- 模型输入
- 下游任务微调
- GLUE数据集
- [SQuAD v1.1 和 v2.0](#SQuAD v1.1 和 v2.0)
- NER
情感分类实战
核心代码
小结

本文涉及的源码可从BERT论文解读及情感分类实战该文章下方附件获取

概述

本文将先介绍BERT架构和技术细节，然后介绍一个使用IMDB公开数据集情感分类的完整实战（包含数据集构建、模型训练微调、模型评估）。

IMDB数据集分为25000条训练集和25000条测试集，是情感分类中的经典公开数据集，这里使用BERT模型进行情感分类，测试集准确率超过93%。

BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer架构的双向编码器语言模型，它在自然语言处理（NLP）领域取得了显著的成果。以下是BERT的架构和技术细节，以及使用BERT在IMDB公开数据集上进行情感分类的实战介绍。

BERT架构和技术细节

双向编码器：BERT模型通过联合考虑所有层中的左侧和右侧上下文来预训练深度双向表示，这使得BERT能够在预训练阶段捕获更丰富的语言特征。
预训练任务
- 掩码语言模型（MLM） ：BERT随机掩蔽词元并使用来自双向上下文的词元以自监督的方式预测掩蔽词元。在预训练任务中，BERT将随机选择15%的词元作为预测的掩蔽词元，其中80%的时间用特殊的<MASK>词元替换，10%的时间替换为随机词元，剩下的10%保持不变。
- 下一句预测（NSP）：为了帮助理解两个文本序列之间的关系，BERT在预训练中考虑了一个二元分类任务------下一句预测。在生成句子对时，有一半的时间它们确实是连续的句子，另一半的时间第二个句子是从语料库中随机抽取的。
模型微调：预训练的BERT模型可以通过添加少量额外的输出层来微调，从而适应广泛的任务，如问答和语言推断，而无需对模型架构进行大量特定任务的修改。

使用BERT在IMDB数据集上进行情感分类的实战

数据集：IMDB公开数据集分为25000条训练集和25000条测试集，用于情感分类任务。
模型训练与微调
- 加载预训练的BERT模型。
- 对原始数据进行预处理，使其符合BERT模型的输入要求。
- 在训练集上训练BERT模型，进行微调以适应情感分类任务。
模型评估
- 在测试集上评估模型的性能，计算准确率等指标。
- 报告测试集准确率超过93%的结果。

BERT模型在多个自然语言处理任务上取得了新的最先进结果，包括情感分类任务。使用BERT模型进行情感分类能够取得较好的效果，尤其是在拥有足够数据量和计算资源的情况下。

原理介绍

BERT模型架构

BERT模型就是transformer的encoder堆叠而成 ，只是训练方式是有所讲究。

BERT能够在下游任务微调，模型结构也只需要改变输出层即可方便地适配下游任务。

可以看到bert模型的输出为：

outputs[0]是[batch_size, seq_len, hidden_size]

outputs[1]是[batch_size, hidden_size]

outputs[0]就是每个词的表示

outputs[1]就是[CLS]，可以看成这句话的表示

对于我们的任务，就是实现情感分类，因此直接使用outputs[1]接全连接就行了

核心代码

python 复制代码

# 定义一个简单的全连接层来进行二分类
class BertForSequenceClassification(nn.Module):
    def __init__(self, bert, num_labels=2):
        super(BertForSequenceClassification, self).__init__()
        self.bert = bert #BERT模型
        self.classifier = nn.Linear(bert.config.hidden_size, num_labels)

    def forward(self, input_ids, attention_mask):
        outputs = self.bert(input_ids=input_ids, attention_mask=attention_mask)
        pooled_output = outputs[1]
        logits = self.classifier(pooled_output)
        return logits

代码就是非常简洁，当然，如果想要更好地效果，可以直接加个LSTM、BiLSTM+Attention等来更好地进行语义编码，操作空间还是很大地。

超参数设置

batch_size=64 需要50多G显存才能跑起来，现存小的话可以开4

lr=2e-5就是微调大模型的常用学习率

epoch=2 其实结果已经很不错了，这可能就是微调的魅力

num_labels = 2因为数据集是二分类任务

因为这个实战是个简洁版本，所以超参数也设定的很少，代码也是很简洁，适合初学者参考学习

训练结果

可以看到测试集的准确率最高为93.56%

还是很不错的

不过我并没有固定随机种子

可能多跑几次能够还有望超越93.56%

注意事项

python 复制代码

train_sentences, train_labels = get_data(r'./data/train_data.tsv')
test_sentences, test_labels = get_data(r'./data/test_data.tsv')
# 初始化BERT tokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
bert_model = BertModel.from_pretrained('bert-base-uncased').to(device)

模型和数据附件中都有，运行的适合需要将模型和数据的路径修改为自己的路径

小结

使用BERT在IMDB数据集上进行情感分类的实战取得了令人满意的结果。通过本次实战，我们深入了解了BERT模型的工作原理和训练方法，并获得了宝贵的实践经验。