分类算法——文章分类（五）

文章分类计算

• 计算结果

P(C|Chinese,Chinese,Chinese,Tokyo,Japan)-->P(Chinese, Chinese, Chinese, Tokyo, Japan|C) * P(C)/P(Chinese, Chinese, Chinese, Tokyo, Japan)
P(Chinese|C)=5/8
P(Tokyo|C)= 0
P(Japan|C)= 0

思考：我们计算出来某个概率为0，合适吗？

4拉普拉斯平滑系数

目的：防止计算出的分类概率为0

P(Chinese|C)=(5+1)/(8+1*6)=6/14=3/7
P(Tokyo|C)=(0+1)/(8+1*6)= 1/14
P(JapanC)=(0+1)/(8+1*6)=1/14

API

• sklearn.naive_bayes.MultinomialNB(alpha=1.0)
  • 朴素贝叶斯分类
  • alpha：拉普拉斯平滑系数

案例:20类新闻分类

1 步骤分析

• 进行数据集的分割
• TFIDF进行的特征抽取
  • 将文章字符串进行单词抽取
• 朴素贝叶斯预测

2代码

朴素贝叶斯算法总结

• 优点：
  • 朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。
  • 对缺失数据不太敏感，算法也比较简单，常用于文本分类。
  • 分类准确度高，速度快。
• 缺点：
  • 由于使用了样本属性独立性的假设，所以如果特征属性有关联时其效果不好。

总结

条件概率、联合概率计算方式与特征独立的关系

贝叶斯公式的计算