决策树学习

1. 背景

DT决策树是一种基本的分类与回归方法,其学习时,利用训练数据,根据损失函数最小化原则建立DT模型。

分类DT主要优点:模型具有可读性,分类速度快。

由DT树的根结点到叶结点的每一条路径构建一条规则,即组合特征 ,路径上内部结点

的特征对应着规则的条件,而叶结点的类对应着规则的结论。这些路径互斥且完备。

DT学习通常包括3个步骤:特征选择、DT的生成与DT的修剪。DT的生成只考虑局部最优,而DT的剪枝则考虑全局最优。

DT学习是由训练数据集估计条件概率模型,其损失函数通常是正则化的极大似然函数,其策略是损失函数为目标函数的最小化。

2. 特征选择

特征选择在于选取对训练数据具有分类能力的特征,这样可以提高DT学习的效率。通常特征选择的准则是信息增益或信息增益比。

2.1 熵

随机变量X的熵定义为 (对数以2为底时,熵的单位叫bit;以e为底时,熵的单位叫nat)。

其中 ,i=1,2,...,n

熵只依赖于X的分布,与X的取值无关,且

(1)ID3算法;

(2)C4.5算法;

(3)CART算法;

3. DT的生成

4. DT的剪枝

相关推荐
旧时光巷1 分钟前
SQL基础⑫ | 视图篇
数据库·sql·学习·mysql·oracle·视图
用户48221371677515 分钟前
Python——正则表达式(字符匹配-贪婪模式)
算法
二向箔reverse20 分钟前
经典算法题解析:从思路到实现,掌握核心编程思维
算法
IsPrisoner23 分钟前
深入分析计算机网络传输层和应用层面试题
网络·学习
天一生水water34 分钟前
聚类的肘部法则原理
算法·支持向量机·聚类
蒟蒻小袁1 小时前
力扣面试150题--颠倒二进制位
java·算法·leetcode
boyedu1 小时前
比特币区块链共识算法:数字世界的信任密码
算法·区块链·共识算法·数字货币·加密货币·虚拟货币
pk_xz1234561 小时前
社区资源媒体管理系统设计与实现
网络·python·深度学习·算法·数据挖掘·媒体
2 小时前
LeetCode Hot 100 括号生成
算法·leetcode·职场和发展
逝雪Yuki2 小时前
Leetcode——42. 接雨水
c++·算法·leetcode·双指针·接雨水