机器学习-有监督算法-决策树和支持向量机

目录

决策树

  1. 训练:构造树,测试:从模型从上往下走一遍。
  2. 建树方法:ID3,C4.5,CART

ID3

  • 以信息论为基础,以信息增益为衡量标准
  • 熵越小,混乱程度越小,不确定性越小
  • 信息熵:
    H ( D ) = − ∑ i = 1 n P ( D i ) log ⁡ 2 P ( D i ) H(D) = -\sum_{i=1}^{n} P(D_i) \log_{2} P(D_i) H(D)=−i=1∑nP(Di)log2P(Di)
  • 条件熵:
    H ( D ∣ A ) = − ∑ i = 1 n ∣ D i ∣ ∣ D ∣ log ⁡ 2 ( ∣ D i ∣ ∣ D ∣ ) H(D|A) = -\sum_{i=1}^{n} \frac{|D_i|}{|D|} \log_{2} \left(\frac{|D_i|}{|D|}\right) H(D∣A)=−i=1∑n∣D∣∣Di∣log2(∣D∣∣Di∣)
  • 信息增益:
    G ( D , A ) = H ( D ) − H ( D ∣ A ) G(D,A) = H(D) - H(D|A) G(D,A)=H(D)−H(D∣A)
  • 步骤
    • 求特征对最后结果的信息熵,条件熵,和最后的信息增益
    • 选择信息增益最大的作为当前决策节点
    • 删除上一步使用的特征,用特征值划分不同的数据集合
    • 重复2,3步

C4.5

  • ID3算法的改进
  • 利用信息增益率:
    G R ( D , A ) = G ( D , A ) H ( D ) G_R(D,A) = \frac{G(D,A)}{H(D)} GR(D,A)=H(D)G(D,A)
  • 预剪枝:边建树边剪枝,限制深度、叶子节点个数、叶子结点样本数、信息增益率
  • 后剪枝:建完树剪枝。用叶子节点替换非叶子节点,然后判断错误率是保持还是下降

CART

  • 分类树利用基尼指数来进行分类,分类树最后叶子节点众数作为结果。
  • 回归树利用方差来进行分类,利用特征划分成子集后,各自自己方差要最小,总体方差和也要最小。回归树用最后的均值或中位数作为结果。

支持向量积

  • 解决问题:什么样的分类结果最好
  • 监督学习、分类算法
  • 距离定义,决策面,优化目标
  • 拉格朗日乘子法
  • 软间隔
  • 核变换
相关推荐
葫三生21 分钟前
如何评价《论三生原理》在科技界的地位?
人工智能·算法·机器学习·数学建模·量子计算
拓端研究室2 小时前
视频讲解:门槛效应模型Threshold Effect分析数字金融指数与消费结构数据
前端·算法
随缘而动,随遇而安4 小时前
第八十八篇 大数据中的递归算法:从俄罗斯套娃到分布式计算的奇妙之旅
大数据·数据结构·算法
IT古董5 小时前
【第二章:机器学习与神经网络概述】03.类算法理论与实践-(3)决策树分类器
神经网络·算法·机器学习
水木兰亭8 小时前
数据结构之——树及树的存储
数据结构·c++·学习·算法
学技术的大胜嗷8 小时前
离线迁移 Conda 环境到 Windows 服务器:用 conda-pack 摆脱硬路径限制
人工智能·深度学习·yolo·目标检测·机器学习
还有糕手9 小时前
西南交通大学【机器学习实验10】
人工智能·机器学习
Jess079 小时前
插入排序的简单介绍
数据结构·算法·排序算法
老一岁9 小时前
选择排序算法详解
数据结构·算法·排序算法
xindafu9 小时前
代码随想录算法训练营第四十二天|动态规划part9
算法·动态规划