机器学习-有监督算法-决策树和支持向量机

小蒋的技术栈记录2023-10-14 20:42

决策树

以信息论为基础，以信息增益为衡量标准
熵越小，混乱程度越小，不确定性越小
信息熵：
H ( D ) = − ∑ i = 1 n P ( D i ) log ⁡ 2 P ( D i ) H(D) = -\sum_{i=1}^{n} P(D_i) \log_{2} P(D_i) H(D)=−i=1∑nP(Di)log2P(Di)
条件熵：
H ( D ∣ A ) = − ∑ i = 1 n ∣ D i ∣ ∣ D ∣ log ⁡ 2 ( ∣ D i ∣ ∣ D ∣ ) H(D|A) = -\sum_{i=1}^{n} \frac{|D_i|}{|D|} \log_{2} \left(\frac{|D_i|}{|D|}\right) H(D∣A)=−i=1∑n∣D∣∣Di∣log2(∣D∣∣Di∣)
信息增益：
G ( D , A ) = H ( D ) − H ( D ∣ A ) G(D,A) = H(D) - H(D|A) G(D,A)=H(D)−H(D∣A)
步骤
- 求特征对最后结果的信息熵，条件熵，和最后的信息增益
- 选择信息增益最大的作为当前决策节点
- 删除上一步使用的特征，用特征值划分不同的数据集合
- 重复2,3步

ID3算法的改进
利用信息增益率：
G R ( D , A ) = G ( D , A ) H ( D ) G_R(D,A) = \frac{G(D,A)}{H(D)} GR(D,A)=H(D)G(D,A)
预剪枝：边建树边剪枝，限制深度、叶子节点个数、叶子结点样本数、信息增益率
后剪枝：建完树剪枝。用叶子节点替换非叶子节点，然后判断错误率是保持还是下降