机器学习_朴素贝叶斯
朴素贝叶斯算法（Naive Bayes Algorithm）是一种基于贝叶斯定理与特征条件独立假设的分类方法。该算法假设给定目标值时，各个特征之间相互独立。朴素贝叶斯算法通过训练数据集学习联合概率分布，并基于此模型，对给定的输入实例，利用贝叶斯定理求出后验概率最大的输出。
具体来说，朴素贝叶斯算法的核心思想是：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。
文章目录
- 机器学习_朴素贝叶斯
-
- [1. 朴素贝叶斯算法的主要步骤](#1. 朴素贝叶斯算法的主要步骤)
- [2. 朴素贝叶斯算法的优缺点](#2. 朴素贝叶斯算法的优缺点)
- [3. 朴素贝叶斯算法的应用场景](#3. 朴素贝叶斯算法的应用场景)
- [4. 案例：鸢尾花分类](#4. 案例：鸢尾花分类)
1. 朴素贝叶斯算法的主要步骤
- 学习训练数据集中特征属性和输出之间的关系，也就是学习先验概率和条件概率。
- 先验概率：P(Y=c)，表示样本空间中各个类别的概率，可以通过各类样本出现的频率来进行估计。
- 条件概率：P(X=x|Y=c)，表示在类别c下，特征X取值为x的概率。
- 利用贝叶斯定理，根据先验概率和条件概率计算后验概率。
- 后验概率：P(Y=c|X=x)，表示给定样本特征X取值x的条件下，输出Y取值c的概率。
- 使用贝叶斯公式计算后验概率，即P(Y=c|X=x) = (P(X=x|Y=c) * P(Y=c)) / P(X=x)。
- 选择具有最大后验概率的类别作为最终的分类结果。
2. 朴素贝叶斯算法的优缺点
朴素贝叶斯分类的优点包括：
- 算法逻辑简单且稳定，对于不同类型的数据集不会呈现出太大的差异性。
- 所需估计的参数很少，对缺失数据不太敏感。
- 在数据集较大的情况下，朴素贝叶斯分类通常能表现出较高的准确率。
然而，朴素贝叶斯分类也存在一些缺点：
- 条件独立性假设在实际应用中往往不成立，这可能会影响分类的准确性。
- 需要知道先验概率，且先验概率很多时候取决于假设，假设的模型可以有很多种，因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。
- 分类决策存在一定的错误率。
3. 朴素贝叶斯算法的应用场景
朴素贝叶斯算法在多个领域都有广泛的应用场景，主要包括：文本分类、多类别分类、实时分类、高维数据、弱相关特征、信息检索等等。
总的来说，朴素贝叶斯算法因其简单、高效且易于实现的特性，在多个领域都有广泛的应用。然而，需要注意的是，该算法假设特征之间独立，这在某些情况下可能不符合实际，因此在使用时需要谨慎考虑数据的特性。
4. 案例：鸢尾花分类
详见博主另一篇博客：KNN、NB、SVM实现鸢尾花分类