使用 BERT 和逻辑回归进行文本分类及示例验证

一、引言

在自然语言处理领域中，文本分类是一项至关重要的任务。本文将详细介绍如何结合 BERT 模型与逻辑回归算法来实现文本分类，并通过实际示例进行验证。

二、环境准备

为了运行本文中的代码，你需要安装以下库：

pandas：用于数据处理。
sklearn：包含机器学习算法。
torch：用于深度学习任务。
transformers：用于加载预训练语言模型。

三、代码实现

（一）读取数据集

首先，从 CSV 文件中读取数据集。假设该数据集包含两列，分别是content（文本内容）和labels（文本标签）。

python 复制代码

import pandas as pd

# 从 CSV 文件读取数据集
print("正在读取数据集...")
df = pd.read_csv('training_data.csv', encoding='utf-8-sig')
print("数据集读取完成，共包含 {} 条数据.".format(len(df)))

（二）分割数据集

接着，提取特征和目标，并将数据集分割为训练集和测试集。

python 复制代码

# 提取特征和目标
X = df['content']
y = df['labels']

# 分割数据集
print("正在分割数据集...")
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
print("训练集大小: {}, 测试集大小: {}".format(len(X_train), len(X_test)))

（三）加载 BERT 模型和分词器

然后，加载 BERT 模型和分词器，以便将文本转化为特征向量。

python 复制代码

import torch
from transformers import BertTokenizer, BertModel

# 加载 BERT 模型和分词器
print("加载 BERT 模型和分词器...")
tokenizer = BertTokenizer.from_pretrained('D:\\bert-base-chinese')
model = BertModel.from_pretrained('D:\\bert-base-chinese')

（四）文本转化为特征向量

定义一个函数get_embeddings，用于将文本转化为特征向量。该函数利用 BERT 模型对文本进行编码，然后获取[CLS]标记的输出作为文本的特征向量。

python 复制代码

# 文本转化为特征向量
def get_embeddings(texts):
    print("正在生成文本特征向量...")
    inputs = tokenizer(texts.tolist(), padding=True, truncation=True, return_tensors='pt')
    with torch.no_grad():
        outputs = model(**inputs)
    # 获取[CLS]标记的输出作为文本的特征向量
    return outputs.last_hidden_state[:, 0, :].numpy()

（五）训练分类模型

使用逻辑回归算法作为分类模型。先将训练集转化为 BERT 特征，然后训练分类模型。

python 复制代码

from sklearn.linear_model import LogisticRegression

# 转换训练集和测试集为 BERT 特征
X_train_bert = get_embeddings(X_train)
X_test_bert = get_embeddings(X_test)

# 训练分类模型
print("正在训练分类模型...")
classifier = LogisticRegression(max_iter=1000)  # 使用逻辑回归
classifier.fit(X_train_bert, y_train)
print("模型训练完成.")

（六）预测

使用训练好的分类模型对测试集进行预测，并打印预测结果。

python 复制代码

# 预测
print("正在进行预测...")
predictions = classifier.predict(X_test_bert)

# 打印预测结果
print("预测结果:", predictions)

（七）示例数据验证

最后，添加一些示例数据进行验证。将示例数据转化为 BERT 特征，然后使用分类模型进行预测，并打印预测结果。

python 复制代码

# 添加示例数据进行验证
sample_texts = [
    "音乐有助力放松大脑，心情愉悦。",
    "热爱生活，享受人生",
]

# 将示例数据转换为 BERT 特征
print("正在对示例数据进行预测...")
sample_embeddings = get_embeddings(pd.Series(sample_texts))
sample_predictions = classifier.predict(sample_embeddings)

# 打印示例数据预测结果
for text, prediction in zip(sample_texts, sample_predictions):
    print(f"文本: \"{text}\" 预测标签: {prediction}")

四、总结

本文介绍了如何运用 BERT 和逻辑回归进行文本分类，并通过示例数据进行了验证。借助 BERT 模型学习到的文本上下文信息，能够显著提高文本分类的准确性。同时，逻辑回归算法的快速性使得我们可以高效地对大量文本进行分类。

五、完整代码

text_categorize_and_tag.py

python 复制代码

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
import torch
from transformers import BertTokenizer, BertModel

# 从CSV文件读取数据集
print("正在读取数据集...")
df = pd.read_csv('training_data.csv', encoding='utf-8-sig')
print("数据集读取完成，共包含 {} 条数据.".format(len(df)))

# 提取特征和目标
X = df['content']
y = df['labels']

# 分割数据集
print("正在分割数据集...")
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
print("训练集大小: {}, 测试集大小: {}".format(len(X_train), len(X_test)))

# 加载BERT模型和分词器
print("加载BERT模型和分词器...")
tokenizer = BertTokenizer.from_pretrained('D:\\bert-base-chinese')
model = BertModel.from_pretrained('D:\\bert-base-chinese')

# 文本转化为特征向量
def get_embeddings(texts):
    print("正在生成文本特征向量...")
    inputs = tokenizer(texts.tolist(), padding=True, truncation=True, return_tensors='pt')
    with torch.no_grad():
        outputs = model(**inputs)
    # 获取[CLS]标记的输出作为文本的特征向量
    return outputs.last_hidden_state[:, 0, :].numpy()

# 转换训练集和测试集为BERT特征
X_train_bert = get_embeddings(X_train)
X_test_bert = get_embeddings(X_test)

# 训练分类模型
print("正在训练分类模型...")
classifier = LogisticRegression(max_iter=1000)  # 使用逻辑回归
classifier.fit(X_train_bert, y_train)
print("模型训练完成.")

# 预测
print("正在进行预测...")
predictions = classifier.predict(X_test_bert)

# 打印预测结果
print("预测结果:", predictions)

# 添加示例数据进行验证
sample_texts = [
    "音乐有助力放松大脑，心情愉悦。",
    "热爱生活，享受人生",
]

# 将示例数据转换为BERT特征
print("正在对示例数据进行预测...")
sample_embeddings = get_embeddings(pd.Series(sample_texts))
sample_predictions = classifier.predict(sample_embeddings)

# 打印示例数据预测结果
for text, prediction in zip(sample_texts, sample_predictions):
    print(f"文本: \"{text}\" 预测标签: {prediction}")

training_data.csv

html 复制代码

content,labels
"Python 是一种广泛使用的高级编程语言。","编程"
"自然语言处理是人工智能领域的重要研究方向。","NLP"
"机器学习是分析数据的重要工具。","机器学习"
"数据科学结合了统计学和计算机科学。","数据科学"
"人工智能正在改变我们的生活方式。","人工智能"
"深度学习能够处理复杂的数据集。","机器学习"
"很多企业开始应用人工智能技术以提高效率。","人工智能"
"数据分析是理解客户行为的重要工具。","数据科学"
"编程不仅是技术，更是一种思维方式。","编程"
"算法在大数据时代发挥着重要作用。","数据科学"
"音乐可以影响人的情绪和认知。","音乐"
"学习音乐可以提高学生的创造力。","教育"
"现场音乐会可以提供独特的视听体验。","娱乐"
"教育科技正在变革传统的学习方式。","教育"
"学习一门乐器有助于提升专注力。","音乐"
"电影和电视节目是现代娱乐的重要部分。","娱乐"
"音乐治疗被广泛应用于心理健康。","音乐"
"在线教育平台为学习者提供灵活的选择。","教育"
"综艺节目为观众提供了丰富的娱乐内容。","娱乐"
"这是一篇关于机器学习的文章。","科技"
"我喜欢户外活动和旅游。","生活"
"COVID-19疫情对全球经济产生了深远的影响。","财经"
"人工智能正在改变我们的生活方式。","科技"
"旅游是一种能让人开阔视野的活动。","生活"
"金融科技让我们的投资变得更加智能。","财经"
"环境保护对我们的未来至关重要。","环保"