NLP之Bert实现文本多分类

文章目录

代码
代码整体流程解读
debug上面的代码

代码

python 复制代码

from pypro.chapters03.demo03_数据获取与处理 import train_list, label_list, val_train_list, val_label_list
import tensorflow as tf
from transformers import TFBertForSequenceClassification

bert_model = "bert-base-chinese"

model = TFBertForSequenceClassification.from_pretrained(bert_model, num_labels=32)
model.compile(metrics=['accuracy'], loss=tf.nn.sigmoid_cross_entropy_with_logits)
model.summary()
result = model.fit(x=train_list[:24], y=label_list[:24], batch_size=12, epochs=1)
print(result.history)
# 保存模型(模型保存的本质就是保存训练的参数,而对于深度学习而言还保存神经网络结构)
model.save_weights('../data/model.h5')

model = TFBertForSequenceClassification.from_pretrained(bert_model, num_labels=32)
model.load_weights('../data/model.h5')
result = model.predict(val_train_list[:12])  # 预测值
print(result)
result = tf.nn.sigmoid(result)
print(result)
result = tf.cast(tf.greater_equal(result, 0.5), tf.float32)
print(result)

代码整体流程解读

这段代码的目的是利用TensorFlow和transformers库来进行文本序列的分类任务。下面是整体流程的概述和逐步计划：

导入必要的库和数据:
- 从一个叫做 pypro.chapters03.demo03_数据获取与处理 的模块中导入了四个列表：train_list, label_list, val_train_list, val_label_list。这些列表分别包含训练数据、训练标签、验证数据和验证标签。
- 导入TensorFlow和transformers库。
初始化预训练的BERT模型:
- 使用 bert-base-chinese 模型初始化一个用于序列分类的BERT模型。
- 模型被配置为对32个不同的标签进行分类。
编译模型:
- 使用sigmoid交叉熵作为损失函数，并跟踪准确度作为性能指标。
模型摘要:
- 输出模型的概要信息，包括每一层的名称、类型、输出形状和参数数量。
训练模型:
- 使用提供的训练数据和标签（仅取前24个样本）来训练模型。
- 批量大小设置为12，训练仅进行1个时代（epoch），这意味着数据将通过模型传递一次。
输出训练结果:
- 打印训练过程中记录的历史数据，通常包括损失值和准确度。
保存模型权重:
- 将训练后的模型权重保存到本地文件 model.h5。
加载模型权重:
- 初始化一个新的模型结构，并加载之前保存的权重。
模型预测:
- 使用验证数据（仅取前12个样本）进行预测。
激活函数处理:
- 将预测结果通过sigmoid函数处理，转换成0到1之间的值。
转换预测结果:
- 通过比较预测值是否大于或等于0.5来将概率转换为二进制分类结果。

debug上面的代码

下面逐行解释上述代码：

from pypro.chapters03.demo03_数据获取与处理 import train_list, label_list, val_train_list, val_label_list

这行代码从demo03_数据获取与处理模块中导入四个列表。这些列表包含训练数据和标签（train_list, label_list），以及验证数据和标签（val_train_list, val_label_list）。这是数据准备步骤的一部分。
import tensorflow as tf

这行代码导入了TensorFlow库，它是一个广泛用于机器学习和深度学习任务的开源库。
from transformers import TFBertForSequenceClassification

这里导入了transformers库中的TFBertForSequenceClassification类。transformers库包含了许多预训练模型，用于NLP任务，这里特别导入的是适用于TensorFlow的BERT模型，用于序列分类任务。
bert_model = "bert-base-chinese"

定义一个字符串变量bert_model，它保存了预训练模型的名称。在这里，我们将使用中文BERT基础模型。
model = TFBertForSequenceClassification.from_pretrained(bert_model, num_labels=32)

使用bert-base-chinese模型和TFBertForSequenceClassification类创建一个新的序列分类模型实例。num_labels=32表明有32个不同的类别用于分类。
model.compile(metrics=['accuracy'], loss=tf.nn.sigmoid_cross_entropy_with_logits)

编译模型，设置度量为准确度（accuracy），并使用sigmoid_cross_entropy_with_logits作为损失函数，这通常用于二分类问题，但在这里，由于是多标签分类（32个类别），可能是对每个标签进行二分类。
model.summary()

输出模型的摘要信息，包括模型中的层，每层的输出形状和参数数量等详细信息。
result = model.fit(x=train_list[:24], y=label_list[:24], batch_size=12, epochs=1)

开始训练模型，仅使用前24个样本作为训练数据和标签。批处理大小设置为12，意味着每次梯度更新将基于12个样本。epochs=1表示整个数据集只通过模型训练一次。
print(result.history)

打印出训练过程中的历史数据，如损失和准确度。
model.save_weights('../data/model.h5')

保存训练好的模型权重到本地文件model.h5。
model = TFBertForSequenceClassification.from_pretrained(bert_model, num_labels=32)

再次初始化一个模型，用于演示如何从头加载一个模型。
model.load_weights('../data/model.h5')

加载先前保存的模型权重。
result = model.predict(val_train_list[:12]) # 预测值

使用验证数据集中的前12个样本进行预测，得到模型的输出。
print(result)

打印出预测结果。
result = tf.nn.sigmoid(result)

将模型的原始输出通过sigmoid函数转换，得到一个在0到1之间的值，表示属于每个类别的概率。
print(result)

再次打印经过sigmoid激活函数处理后的预测结果。
result = tf.cast(tf.greater_equal(result, 0.5), tf.float32)

将sigmoid输出的概率转换为二分类结果。对于每个标签，如果概率大于或等于0.5，则认为该样本属于该标签（转换为1），否则不属于（转换为0）。
`print

(result)`

复制代码

最后，打印出转换后的分类结果。

整体而言，这段代码展示了使用预训练的BERT模型在一个多标签文本分类任务上的训练、保存、加载和预测的完整过程。