R语言——朴素贝叶斯文本分类

朴素贝叶斯方法是最常见的使用贝叶斯思想进行分类的方法,它是目前所知文本分类算法中最有效的一类,常常应用于文本分类。下面将会以一个含多个类别的BBC英文文本数据为例,介绍如何使用朴素贝叶斯方法对其进行数据分类。

1 文本数据准备与探索

下面会直接导入已经预处理后的数据对其进行探索性分析,下面的程序是导入进行文本分类是需要的相关R包,以及数据的导入,数据一共有两个变量,分别是预处理后的文本内容变量text_pre,和类别标签变量lable。

R 复制代码
library(tm);library(wordcloud2);library(tidytext);library(reshape2);
library(dplyr);library(e1071);library(ggpol)
## 读取数据,文本数据已经是预处理后的
bbcdata <- read.csv("data/chap12/bbcdata.csv",stringsAsFactors = FALSE)
bbcdata$label <- as.factor(bbcdata$label)

图1 文本数据的前几行

针对文本数据可以使用词云对其进行可视化,在下面的程序中通过unnest_tokens()、group_by()等函数计算在所有文本中,每个词语出现的次数,然后使用letterCloud()函数可视化字母词云,运行程序可获得可视化图像2。

R 复制代码
## 对数据可视化词云,计算词频
wordfre <- bbcdata%>%unnest_tokens(output = word,input = text_pre)%>%
 group_by(word)%>%summarise(Fre = n())%>%
 arrange(desc(Fre))
letterCloud(wordfre,word = "BBC",wordSize = 1,
 color ="random-dark",backgroundColor = "snow" )

图2 词云可视化

图2中将词云以字母的形式进行可视化,越大的词出现的次数就越多。

利用tm包中的Corpus()函数可以对文本数据构建语料库,使用DocumentTermMatrix()函数可以获得文本数据的文档-词项特征矩阵,而且如果获得的文档-词项矩阵过于稀疏,可使用tm包中的removeSparseTerms()函数剔除一些不重要的词语,缓解矩阵的系数程度,下面的程序和输出则是展示了上述的文本特征的构建过程。

R 复制代码
## 构建语料库,计算文本的TF特征
bbc_cp <- Corpus(VectorSource(bbcdata$text_pre))
bbc_cp
## <<SimpleCorpus>>
## Metadata: corpus specific: 1, document level (indexed): 0
## Content: documents: 2225
## 找到频繁出现的词语,出现频率大于2
dict <- wordfre$word[wordfre$Fre >2]
## 构建TF矩阵
bbc_dtm <- DocumentTermMatrix(bbc_cp,
 control = list(dictionary = dict))
bbc_dtm
## <<DocumentTermMatrix (documents: 2225, terms: 10544)>>
## Non-/sparse entries: 300873/23159527
## Sparsity : 99%
## Maximal term length: 24
## Weighting : term frequency (tf)
## 缓解矩阵的稀疏性,同时提高计算效率
bbc_dtm <- removeSparseTerms(bbc_dtm,0.99)
bbc_dtm
## <<DocumentTermMatrix (documents: 2225, terms: 2355)>>
## Non-/sparse entries: 250109/4989766
## Sparsity : 95%
## Maximal term length: 13
## Weighting : term frequency (tf)

从上述程序的输出中可知,处理好的语料库中有2225条文本,初步提取的文档-词项特征矩阵中有10544个词,矩阵稀疏度高达99%,进行缓解稀疏性的操作后,文档-词项特征矩阵包含2355个词,矩阵稀疏度降低到95%

2 朴素贝叶斯分类

针对前面已经提取的文本特征矩阵,使用e1071包中的naiveBayes()函数即可建立朴素贝叶斯分类器模型,在构建模型之前,将数据切分为训练集和测试集,训练集使用75%的数据样本。程序和输出如下:

R 复制代码
## 数据随机切分为训练集和测试集
set.seed(123)
index <- sample(nrow(bbcdata),nrow(bbcdata)*0.75)
bbc_dtm2mat <- as.matrix(bbc_dtm)
train_x <- bbc_dtm2mat[index,]
train_y <- bbcdata$label[index]
test_x <- bbc_dtm2mat[-index,]
test_y <- bbcdata$label[-index]
## 使用e1071包中的naiveBayes建立模型
bbcnb <- naiveBayes(x = train_x,y = train_y,laplace = 1)
## 对测试集进行预测,查看模型的精度
train_pre <- predict(bbcnb,train_x,type = "class")
test_pre <- predict(bbcnb,test_x,type = "class")
sprintf("朴素贝叶斯模型训试集上预测精度:%4f",accuracy(train_y,train_pre))
sprintf("朴素贝叶斯模型测试集上预测精度:%4f",accuracy(test_y,test_pre))
## [1] "朴素贝叶斯模型讯试集上预测精度:0.933453"
## [1] "朴素贝叶斯模型测试集上预测精度:0.858169"

从朴素贝叶斯模型的预测结果输出中,可以知道其在训练集上的预测精度为93.3%,在测试集上的预测精度能够达到85.58%,预测精度较高。

分析模型的预测效果,还可以使用混淆矩阵热力图进行分析,下面的程序是可视化朴素贝叶斯模型在测试集上的混淆矩阵,运行程序可获得热力图3。

R 复制代码
## 可视化预测的混淆矩阵
ggplot()+labs(x = "Reference",y = "Prediction")+
 geom_confmat(aes(x = test_y, y = test_pre),
 normalize = TRUE, text.perc = TRUE)+
 scale_fill_gradient2(low="darkblue", high="lightgreen")

图3 测试集上的混淆矩阵热力图

相关推荐
肥猪猪爸10 分钟前
使用卡尔曼滤波器估计pybullet中的机器人位置
数据结构·人工智能·python·算法·机器人·卡尔曼滤波·pybullet
LZXCyrus39 分钟前
【杂记】vLLM如何指定GPU单卡/多卡离线推理
人工智能·经验分享·python·深度学习·语言模型·llm·vllm
我感觉。1 小时前
【机器学习chp4】特征工程
人工智能·机器学习·主成分分析·特征工程
YRr YRr1 小时前
深度学习神经网络中的优化器的使用
人工智能·深度学习·神经网络
DieYoung_Alive1 小时前
一篇文章了解机器学习(下)
人工智能·机器学习
夏沫的梦1 小时前
生成式AI对产业的影响与冲击
人工智能·aigc
goomind1 小时前
YOLOv8实战木材缺陷识别
人工智能·yolo·目标检测·缺陷检测·pyqt5·木材缺陷识别
只怕自己不够好1 小时前
《OpenCV 图像基础操作全解析:从读取到像素处理与 ROI 应用》
人工智能·opencv·计算机视觉
幻风_huanfeng1 小时前
人工智能之数学基础:线性代数在人工智能中的地位
人工智能·深度学习·神经网络·线性代数·机器学习·自然语言处理
嵌入式大圣1 小时前
嵌入式系统与OpenCV
人工智能·opencv·计算机视觉