机器学习 - 贝叶斯定理

摘要：贝叶斯定理是概率论基础概念，亦是机器学习中概率推理与决策的核心，其数学公式为 P (A | B) = P (B | A) × P (A) / P (B)，可基于新证据更新事件发生概率，广泛应用于垃圾邮件过滤、医疗诊断、图像识别等场景，在机器学习中常用于贝叶斯推断以更新模型参数认知。在 Python 中，scikit-learn 库可实现该定理相关功能，以文本分类为例，通过加载 20 个新闻组数据集并选取 4 个类别，利用 CountVectorizer 将文本转换为词袋模型向量，再训练多项式朴素贝叶斯分类器，经最大似然估计求解模型参数后，在测试集上预测并计算准确率，最终该分类器准确率达 0.934 左右，展现了贝叶斯定理在实际任务中的有效性。

目录

[机器学习 - 贝叶斯定理](#机器学习 - 贝叶斯定理)

[Python 实现](#Python 实现)

示例代码

代码说明

输出结果

---

机器学习 - 贝叶斯定理

贝叶斯定理是概率论中的一个基础概念，在机器学习中有着诸多应用。它允许我们在获得新证据的情况下，更新对某个事件发生概率的认知。实际上，它是概率推理和决策制定的基础。

贝叶斯定理指出，在给定证据 B 的条件下事件 A 发生的概率，等于在给定事件 A 的条件下证据 B 出现的概率乘以事件 A 的先验概率，再除以证据 B 的概率。用数学公式可表示为：

其中：

• P (A | B)：给定证据 B 时事件 A 发生的概率（后验概率）
• P (B | A)：给定事件 A 时证据 B 出现的概率（似然度）
• P (A)：事件 A 的先验概率（我们对事件 A 发生概率的初始认知）
• P (B)：证据 B 的概率（总概率）

贝叶斯定理的应用范围广泛，例如垃圾邮件过滤、医疗诊断和图像识别等领域。在机器学习中，贝叶斯定理常用于贝叶斯推断 ------ 这是一种基于新数据更新模型参数认知的统计技术。

Python 实现

在 Python 中，有多个库可实现贝叶斯定理和贝叶斯推断。其中最常用的是 scikit-learn 库，该库提供了一系列机器学习和数据分析工具。

下面以一个实例说明如何使用 scikit-learn 库在 Python 中实现贝叶斯定理。假设我们有一个电子邮件数据集，其中部分邮件为垃圾邮件，其余为非垃圾邮件。我们的目标是构建一个分类器，能够准确预测新邮件是否为垃圾邮件。

我们可以利用贝叶斯定理，根据邮件的特征（如主题或正文中的词汇）计算该邮件为垃圾邮件的概率。要实现这一点，首先需要估计模型的参数 ------ 即垃圾邮件和非垃圾邮件的先验概率，以及每个特征在对应类别（垃圾邮件或非垃圾邮件）下的似然度。

这些概率可以通过最大似然估计或贝叶斯推断来求解。本实例将使用多项式朴素贝叶斯算法，这是朴素贝叶斯算法的一种变体，常用于文本分类任务。

示例代码

from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import accuracy_score

# 加载20个新闻组数据集
categories = ['alt.atheism', 'comp.graphics', 'sci.med', 'soc.religion.christian']
train = fetch_20newsgroups(subset='train', categories=categories, shuffle=True, random_state=42)
test = fetch_20newsgroups(subset='test', categories=categories, shuffle=True, random_state=42)

# 使用词袋模型表示文本数据
vectorizer = CountVectorizer()
X_train = vectorizer.fit_transform(train.data)
X_test = vectorizer.transform(test.data)

# 训练多项式朴素贝叶斯分类器
clf = MultinomialNB()
clf.fit(X_train, train.target)

# 在测试集上进行预测并计算准确率
y_pred = clf.predict(X_test)
accuracy = accuracy_score(test.target, y_pred)
print("准确率:", accuracy)

代码说明

1. 首先加载 20 个新闻组数据集，该数据集包含多个类别的新闻组帖子。我们选取了 4 个类别（无神论、计算机图形学、医学科学、基督教宗教），并将数据分为训练集和测试集。
2. 使用 scikit-learn 库中的 CountVectorizer 类将文本数据转换为词袋模型表示。这种表示方式会统计文本中每个词汇的出现次数，并将其表示为向量形式。
3. 调用 fit () 方法训练多项式朴素贝叶斯分类器，该方法通过最大似然估计求解先验概率和每个词汇在对应类别下的似然度。训练完成后，可使用 predict () 方法在测试集上进行预测。
4. 最后利用 scikit-learn 库中的 accuracy_score () 函数计算分类器的准确率。

输出结果

运行上述代码后，将得到以下输出：准确率: 0.9340878828229028