详解机器学习经典模型(原理及应用)——朴素贝叶斯

一、概念

朴素贝叶斯网络(Naive Bayes Network)模型是一种基于贝叶斯定理的分类算法。它假设特征之间是条件独立的,即在给定类别的情况下,特征之间相互独立。这一假设在现实中往往不成立,毕竟很少有特征是完全无关的,但是这并不妨碍朴素贝叶斯模型在实际应用过程中发挥作用。

二、基本原理

1、贝叶斯定理

朴素贝叶斯模型基于贝叶斯定理,贝叶斯定理描述的是后验概率(即在观察到某些证据后某个事件发生的概率)与先验概率(即在观察到证据之前某个事件发生的概率)之间的关系。贝叶斯定理的公式如下:

其中:

  • P(C|X)是在给定特征X的情况下类别C的后验概率。
  • P(X|C)是在给定类别C的情况下特征X的似然,即在类别C已知的情况下,观察到特征X的概率。
  • P(C)是类别C的先验概率。
  • P(X)是特征X的边际概率,即示在不考虑类别C的情况下,特征X出现的概率。

在朴素贝叶斯分类器中,我们关心的是找到使后验概率P(C|X)最大的类别C。由于P(X)对所有类别C都是相同的,我们可以忽略它,只需最大化P(X|C)⋅P(C)。

2、条件独立假设

朴素贝叶斯分类器的关键假设是条件独立性假设 ,即在给定类别C的情况下,特征是相互独立的。基于这一假设,似然P(X|C) 可以分解为各个特征的条件概率的乘积:

因此,后验概率可以表示为:

其中,表示正比于,即两者成正比例。正比例是指两种相关联的量,一种量变化时,另一种量也随着变化,且它们的比值(或商)保持不变。

三、python实现

1、高斯朴素贝叶斯(Gaussian Naive Bayes)

适用于连续特征,假设特征服从高斯分布(正态分布)。

python 复制代码
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import GaussianNB
from sklearn.metrics import accuracy_score, classification_report

# 特征矩阵X,包含两个特征
X = np.array([
    [1.0, 2.1],
    [2.0, 1.9],
    [1.5, 1.8],
    [3.0, 3.1],
    [3.1, 3.0],
    [3.2, 3.2],
    [4.0, 4.1],
    [4.1, 4.0],
    [4.2, 4.2]
])

# 标签向量y,包含两个类别(0和1)
y = np.array([0, 0, 0, 1, 1, 1, 1, 1, 1])

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=42)

# 训练高斯朴素贝叶斯分类器
model = GaussianNB()
model.fit(X_train, y_train)

# 预测
y_pred = model.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"准确率: {accuracy:.4f}")

2、多项式朴素贝叶斯(Multinomial Naive Bayes)

适用于离散特征,常用于文本分类,假设特征的出现次数服从多项分布。

python 复制代码
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import accuracy_score, classification_report

# 特征矩阵X,包含离散数值特征
X = np.array([
    [2, 1, 0, 1],
    [1, 2, 1, 0],
    [0, 1, 2, 1],
    [1, 0, 1, 2],
    [2, 1, 0, 2],
    [0, 2, 1, 1],
    [1, 1, 2, 0],
    [2, 0, 1, 1]
])

# 标签向量y,包含两个类别(0和1)
y = np.array([0, 0, 1, 1, 0, 2, 0, 2])

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)

# 训练多项式朴素贝叶斯分类器
model = MultinomialNB()
model.fit(X_train, y_train)

# 预测
y_pred = model.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"准确率: {accuracy:.4f}")

3、伯努利朴素贝叶斯(Bernoulli Naive Bayes)

适用于二元特征,假设特征是二元变量(0或1),常用于文本分类中的词袋模型。

python 复制代码
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import BernoulliNB
from sklearn.metrics import accuracy_score, classification_report

# 特征矩阵X,包含二元特征(0或1)
X = np.array([
    [1, 0, 1, 0],
    [1, 1, 0, 0],
    [0, 0, 1, 1],
    [0, 1, 1, 0],
    [1, 0, 0, 1],
    [0, 1, 0, 1],
    [1, 1, 1, 0],
    [0, 0, 0, 1]
])

# 标签向量y,包含两个类别(0和1)
y = np.array([0, 0, 1, 1, 0, 1, 0, 1])

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)

# 训练伯努利朴素贝叶斯分类器
model = BernoulliNB()
model.fit(X_train, y_train)

# 预测
y_pred = model.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"准确率: {accuracy:.4f}")

四、总结

朴素贝叶斯模型是一种简单而有效的分类算法,尽管其条件独立性假设在现实中往往不成立。此外,朴素贝叶斯也是典型的生成式模型。在机器学习领域,有生成式和判别式两大模型派别。

1、生成式模型

生成式模型(Generative Model)是通过建模数据的联合概率分布P(X,Y) 来进行分类或其他任务的模型,它不仅关注输入特征X和输出标签Y之间的关系,还试图描述数据的生成过程。朴素贝叶斯、隐马尔科夫模型、隐含狄利克雷分布、混合高斯模型都是典型的生成式模型。

2、判别式模型

判别式模型(Discriminative Model)是直接建模条件概率分布P(Y∣X)或决策边界的模型。它们专注于输入特征X和输出标签Y之间的直接关系,而不试图描述数据的生成过程。线性回归、逻辑回归、支持向量机、传统神经网络、线性判别分析、条件随机场都是典型的判别式模型。

相关推荐
黎燃8 小时前
短视频平台内容推荐算法优化:从协同过滤到多模态深度学习
人工智能
TF男孩8 小时前
ARQ:一款低成本的消息队列,实现每秒万级吞吐
后端·python·消息队列
飞哥数智坊9 小时前
多次尝试用 CodeBuddy 做小程序,最终我放弃了
人工智能·ai编程
后端小肥肠10 小时前
别再眼馋 10w + 治愈漫画!Coze 工作流 3 分钟出成品,小白可学
人工智能·aigc·coze
唐某人丶12 小时前
教你如何用 JS 实现 Agent 系统(2)—— 开发 ReAct 版本的“深度搜索”
前端·人工智能·aigc
FIT2CLOUD飞致云13 小时前
九月月报丨MaxKB在不同规模医疗机构的应用进展汇报
人工智能·开源
阿里云大数据AI技术13 小时前
【新模型速递】PAI-Model Gallery云上一键部署Qwen3-Next系列模型
人工智能
袁庭新13 小时前
全球首位AI机器人部长,背负反腐重任
人工智能·aigc
机器之心13 小时前
谁说Scaling Law到头了?新研究:每一步的微小提升会带来指数级增长
人工智能·openai
该用户已不存在13 小时前
Mojo vs Python vs Rust: 2025年搞AI,该学哪个?
后端·python·rust