【朴素贝叶斯-新闻主题分类】

朴素贝叶斯对新闻进行分类

朴素贝叶斯算法是一种常用的文本分类方法,特别适用于自然语言处理任务,如新闻分类。在这篇博客中,我们将使用Python的scikit-learn库来实现朴素贝叶斯算法,并将其应用于新闻分类任务。

数据准备

首先,我们需要下载新闻数据集并进行数据准备。在这里,我们使用scikit-learn中的20个新闻组数据集,其中包含20个不同主题的新闻文本。我们从互联网上下载所有数据,并将其划分为训练集和测试集。

python 复制代码
from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import train_test_split

# 从互联网上下载所有数据
news = fetch_20newsgroups(subset='all')

# 进行数据分割
x_train, x_test, y_train, y_test = train_test_split(news.data, news.target)

特征抽取

在进行文本分类任务时,我们需要将文本数据转换为可供机器学习算法使用的数字特征。这里我们使用TfidfVectorizer来将文本转换为TF-IDF特征向量,它考虑了词频和逆文档频率,能够更好地表示词的重要性。

python 复制代码
from sklearn.feature_extraction.text import TfidfVectorizer

# 对数据集进行特征抽取
transformer = TfidfVectorizer()
x_train = transformer.fit_transform(x_train)
x_test = transformer.transform(x_test)

构建朴素贝叶斯分类器

接下来,我们使用朴素贝叶斯算法来构建分类器。在scikit-learn中,我们可以使用MultinomialNB类来实现多项式朴素贝叶斯分类器。我们使用默认配置初始化分类器,并使用训练数据进行拟合。

python 复制代码
from sklearn.naive_bayes import MultinomialNB

# 使用默认配置初始化朴素贝叶斯分类器
estimator = MultinomialNB()
estimator.fit(x_train, y_train)

模型评估

现在,我们的朴素贝叶斯分类器已经训练好了,接下来我们使用测试数据进行预测,并对分类器性能进行评估。我们可以使用准确率来衡量分类器在测试数据上的性能。

python 复制代码
# 进行模型评估
y_predict = estimator.predict(x_test)
print("y_predict:\n", y_predict)
print("直接比对真实值和预测值:\n", y_test == y_predict)

# 计算准确率
score = estimator.score(x_test, y_test)
print("准确率为:\n", score)
相关推荐
该用户已不存在3 小时前
Mojo vs Python vs Rust: 2025年搞AI,该学哪个?
后端·python·rust
NAGNIP5 小时前
大模型框架性能优化策略:延迟、吞吐量与成本权衡
算法
站大爷IP5 小时前
Java调用Python的5种实用方案:从简单到进阶的全场景解析
python
美团技术团队6 小时前
LongCat-Flash:如何使用 SGLang 部署美团 Agentic 模型
人工智能·算法
AI小云11 小时前
【机器学习与实战】回归分析与预测:线性回归-03-损失函数与梯度下降
机器学习
用户83562907805111 小时前
从手动编辑到代码生成:Python 助你高效创建 Word 文档
后端·python
Fanxt_Ja11 小时前
【LeetCode】算法详解#15 ---环形链表II
数据结构·算法·leetcode·链表
侃侃_天下11 小时前
最终的信号类
开发语言·c++·算法
c8i11 小时前
python中类的基本结构、特殊属性于MRO理解
python
茉莉玫瑰花茶11 小时前
算法 --- 字符串
算法