【朴素贝叶斯-新闻主题分类】

朴素贝叶斯对新闻进行分类

朴素贝叶斯算法是一种常用的文本分类方法,特别适用于自然语言处理任务,如新闻分类。在这篇博客中,我们将使用Python的scikit-learn库来实现朴素贝叶斯算法,并将其应用于新闻分类任务。

数据准备

首先,我们需要下载新闻数据集并进行数据准备。在这里,我们使用scikit-learn中的20个新闻组数据集,其中包含20个不同主题的新闻文本。我们从互联网上下载所有数据,并将其划分为训练集和测试集。

python 复制代码
from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import train_test_split

# 从互联网上下载所有数据
news = fetch_20newsgroups(subset='all')

# 进行数据分割
x_train, x_test, y_train, y_test = train_test_split(news.data, news.target)

特征抽取

在进行文本分类任务时,我们需要将文本数据转换为可供机器学习算法使用的数字特征。这里我们使用TfidfVectorizer来将文本转换为TF-IDF特征向量,它考虑了词频和逆文档频率,能够更好地表示词的重要性。

python 复制代码
from sklearn.feature_extraction.text import TfidfVectorizer

# 对数据集进行特征抽取
transformer = TfidfVectorizer()
x_train = transformer.fit_transform(x_train)
x_test = transformer.transform(x_test)

构建朴素贝叶斯分类器

接下来,我们使用朴素贝叶斯算法来构建分类器。在scikit-learn中,我们可以使用MultinomialNB类来实现多项式朴素贝叶斯分类器。我们使用默认配置初始化分类器,并使用训练数据进行拟合。

python 复制代码
from sklearn.naive_bayes import MultinomialNB

# 使用默认配置初始化朴素贝叶斯分类器
estimator = MultinomialNB()
estimator.fit(x_train, y_train)

模型评估

现在,我们的朴素贝叶斯分类器已经训练好了,接下来我们使用测试数据进行预测,并对分类器性能进行评估。我们可以使用准确率来衡量分类器在测试数据上的性能。

python 复制代码
# 进行模型评估
y_predict = estimator.predict(x_test)
print("y_predict:\n", y_predict)
print("直接比对真实值和预测值:\n", y_test == y_predict)

# 计算准确率
score = estimator.score(x_test, y_test)
print("准确率为:\n", score)
相关推荐
郝学胜-神的一滴13 分钟前
Effective STL 条款03:容器中的对象复制要廉价且正确
开发语言·数据结构·c++·算法·rpc·stl
秋天的怀念_David13 分钟前
算法一千零一夜 · 第三十三夜 · 跳表
java·程序人生·算法
学无止境小袁同学2 小时前
Google ADK 学习指南
python·llm·agent·多agent·google adk·llmagent·agent cli
郝学胜-神的一滴3 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib
塑料铲子3 小时前
你的 Skill 越多越蠢?Token 上下文爆炸的求生指南
机器学习·agent
LK_073 小时前
【力扣】142. 环形链表 II |Python
python·leetcode·链表
wuyk5553 小时前
Python办公自动化-第02讲-Excel文件认知与四大库选型
开发语言·python·excel
Pniubi3 小时前
力扣21合并两个有序链表
算法·leetcode·职场和发展
AIgorithmGEEK4 小时前
std::unordered_map 与 std::unordered_set:接口、算法技巧与权衡 (速查)
c++·算法·哈希表·负载因子·桶·unordered_map·unordered_set