机器学习-朴素贝叶斯

文章目录

一、朴素贝叶斯简介

1.含义

朴素贝叶斯(Naive Bayes)是一种基于贝叶斯定理与特征条件独立假设的分类方法。它之所以被称为"朴素",是因为它假设特征之间相互独立,即一个特征的出现与另一个特征无关,这在现实世界中往往不成立,但这一假设使得朴素贝叶斯分类器变得简单且高效。

2.公式

P ( A ∣ B ) = P ( B ∣ A ) P ( A ) P ( B ) P(A∣B)=\frac{P(B|A)P(A)}{P(B)} P(A∣B)=P(B)P(B∣A)P(A)

其中:

P(A∣B) 是后验概率,即在给定数据B下,属于类别A的概率。

P(B∣A) 是似然概率,即在类别A下观测到数据B的概率。

P(A) 是先验概率,即类别A出现的概率。

P(B) 是证据因子,对于所有类别是相同的,因此不影响分类决策。

二、代码实现

下面这段代码的主要目的是使用朴素贝叶斯分类器来对鸢尾花数据集进行分类,代码实现了使用多项式朴素贝叶斯对鸢尾花数据集进行分类的基本流程,包括数据加载、预处理、模型训练、预测和性能评估,我们将其一步步拆分,进行更详细的讲解。

1.数据加载和预处理

python 复制代码
import pandas as pd

def cm_plot(y, yp):
    from sklearn.metrics import confusion_matrix
    import matplotlib.pyplot as plt

    cm = confusion_matrix(y, yp)
    plt.matshow(cm, cmap=plt.cm.Blues)
    plt.colorbar()
    for x in range(len(cm)):
        for y in range(len(cm)):
            plt.annotate(cm[x, y], xy=(y, x), horizontalalignment='center', verticalalignment='center')
            plt.ylabel('True label')
            plt.xlabel('Predicted label')
    return plt

data = pd.read_csv("iris.csv")
data_a = data.drop(columns=data.columns[0])

x = data_a.iloc[:, :-1]
y = data_a.iloc[:, -1]
  • 使用pandas读取iris.csv文件,该文件应包含鸢尾花数据集。
  • 数据集的第一列是不需要的列,因此删除。
  • 数据集被分为特征集x和目标集y,其中x包含除最后一列外的所有列,y包含最后一列。

2.切分数据集

python 复制代码
from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = \
    train_test_split(x, y, test_size=0.2, random_state=0)
  • 使用train_test_split函数将数据集切分为训练集和测试集,测试集占总数据的20%,随机种子设为0,以便拥有可重复性。

3.模型训练

python 复制代码
from sklearn.naive_bayes import MultinomialNB#导入朴素贝叶斯分类器
classifier = MultinomialNB(alpha=1)
classifier.fit(x_train,y_train)
  • 使用多项式朴素贝叶斯分类器对训练集进行训练。

4.性能评估

python 复制代码
#绘制混淆矩阵
from sklearn import metrics
train_pred = classifier.predict(x_train)
cm_plot(y_train,train_pred).show()
print(metrics.classification_report(y_train, train_pred))
score = classifier.score(x_train, y_train)
print(score)
  • 对训练集进行预测,得到预测结果train_pred。
  • 使用cm_plot函数绘制训练集的混淆矩阵,并进行可视化。
  • 打印分类报告,该报告提供了主要分类指标的文本报告,如精确度、召回率、F1分数等。
  • 打印训练集上的准确度分数,来评估训练集上的性能。

5.测试集预测

python 复制代码
test_pred = classifier.predict(x_test)
cm_plot(y_test,test_pred).show()
print(metrics.classification_report(y_test, test_pred))
  • 对测试集进行预测,并展示测试集的混淆矩阵,最后将分类报告打印出来。

6.详细代码

python 复制代码
import pandas as pd

def cm_plot(y, yp):
    from sklearn.metrics import confusion_matrix
    import matplotlib.pyplot as plt

    cm = confusion_matrix(y, yp)
    plt.matshow(cm, cmap=plt.cm.Blues)
    plt.colorbar()
    for x in range(len(cm)):
        for y in range(len(cm)):
            plt.annotate(cm[x, y], xy=(y, x), horizontalalignment='center', verticalalignment='center')
            plt.ylabel('True label')
            plt.xlabel('Predicted label')
    return plt

data = pd.read_csv("iris.csv")
data_a = data.drop(columns=data.columns[0])

x = data_a.iloc[:, :-1]
y = data_a.iloc[:, -1]

"""切分数据集"""
from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = \
    train_test_split(x, y, test_size=0.2, random_state=0)

from sklearn.naive_bayes import MultinomialNB#导入朴素贝叶斯分类器
classifier = MultinomialNB(alpha=1)
classifier.fit(x_train,y_train)

"""预测训练集"""
#绘制混淆矩阵
from sklearn import metrics
train_pred = classifier.predict(x_train)
cm_plot(y_train,train_pred).show()
print(metrics.classification_report(y_train, train_pred))
score = classifier.score(x_train, y_train)
print(score)
"""测试集预测"""
test_pred = classifier.predict(x_test)
cm_plot(y_test,test_pred).show()
print(metrics.classification_report(y_test, test_pred))

三、总结

朴素贝叶斯分类器因其简单性和高效性,在文本分类、垃圾邮件检测、情感分析等领域有着广泛的应用。但同时也有着自己的优缺点。

  • 优点
    • 简单高效:由于假设特征之间相互独立,大大简化了计算。
    • 处理缺失数据:对缺失数据不敏感,可以通过忽略该特征或使用该特征的先验概率来处理。
    • 易于实现:算法实现相对简单,易于理解和应用。
  • 缺点
    • 特征独立性假设:现实中特征之间往往存在相关性,这一假设限制了朴素贝叶斯的性能。
    • 参数估计问题:如果某个特征在训练数据中未出现,则条件概率为零,这会导致整个后验概率为零,即所谓的"零概率问题"。
相关推荐
ARM+FPGA+AI工业主板定制专家32 分钟前
基于GPS/PTP/gPTP的自动驾驶数据同步授时方案
人工智能·机器学习·自动驾驶
长鸳词羡35 分钟前
wordpiece、unigram、sentencepiece基本原理
人工智能
ㄣ知冷煖★37 分钟前
【GPT5系列】ChatGPT5 提示词工程指南
人工智能
科士威传动37 分钟前
丝杆支撑座在印刷设备如何精准运行?
人工智能·科技·自动化·制造
taxunjishu2 小时前
DeviceNet 转 Modbus TCP 协议转换在 S7-1200 PLC化工反应釜中的应用
运维·人工智能·物联网·自动化·区块链
haoly19893 小时前
数据结构和算法篇-线性查找优化-移至开头策略
数据结构·算法·移至开头策略
kalvin_y_liu3 小时前
智能体框架大PK!谷歌ADK VS 微软Semantic Kernel
人工智能·microsoft·谷歌·智能体
爱看科技3 小时前
智能眼镜行业腾飞在即,苹果/微美全息锚定“AR+AI眼镜融合”之路抢滩市场!
人工智能·ar
Juchecar5 小时前
LLM模型与ML算法之间的关系
人工智能
FIN66685 小时前
昂瑞微:深耕射频“芯”赛道以硬核实力冲刺科创板大门
前端·人工智能·科技·前端框架·信息与通信·智能