分类算法——文章分类（五）

绿树疯子2024-04-21 14:12

文章分类计算

计算结果

c 复制代码

P(C|Chinese,Chinese,Chinese,Tokyo,Japan)-->P(Chinese, Chinese, Chinese, Tokyo, Japan|C) * P(C)/P(Chinese, Chinese, Chinese, Tokyo, Japan)
P(Chinese|C)=5/8
P(Tokyo|C)= 0
P(Japan|C)= 0

思考：我们计算出来某个概率为0，合适吗？

4拉普拉斯平滑系数

目的：防止计算出的分类概率为0

c 复制代码

P(Chinese|C)=(5+1)/(8+1*6)=6/14=3/7
P(Tokyo|C)=(0+1)/(8+1*6)= 1/14
P(JapanC)=(0+1)/(8+1*6)=1/14

API

sklearn.naive_bayes.MultinomialNB(alpha=1.0)
- 朴素贝叶斯分类
- alpha：拉普拉斯平滑系数

案例:20类新闻分类

1 步骤分析

进行数据集的分割
TFIDF进行的特征抽取
- 将文章字符串进行单词抽取
朴素贝叶斯预测

2代码

朴素贝叶斯算法总结

优点：
- 朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。
- 对缺失数据不太敏感，算法也比较简单，常用于文本分类。
- 分类准确度高，速度快。
缺点：
- 由于使用了样本属性独立性的假设，所以如果特征属性有关联时其效果不好。

总结

条件概率、联合概率计算方式与特征独立的关系

贝叶斯公式的计算