熵
信息增益
信息增益描述的是在分叉过程中获得的熵减，信息增益即熵减。
熵减可以用来决定什么时候停止分叉，当熵减很小的时候你只是在不必要的增加树的深度，并且冒着过拟合的风险
决策树训练(构建)过程
离散值特征处理：One-Hot编码
一个具有 N 个取值的离散特征可以转换为 N 个二进制特征，每个二进制特征对应一个可能的取值。
连续值特征处理：
计算不同阈值的熵减，选取熵减最大的阈值作为分叉阈值
回归树
回归树用来预测一个连续值，训练时跟决策树的区别是训练时最小化方差，而决策树是最大化熵减
集成树
单个决策树的一个缺点是对数据的变化比较敏感，我们需要尝试降低树的敏感度提高鲁棒性，此时我们可以构建集成树，即一组决策树
有放回抽样(sample with replacement)
从训练集中随机取出一个之后放回，确保它在后续抽取中仍有可能被再次抽到。
随机森林
利用有放回抽样，我们可以连续抽样并组成新的训练集，使用新的训练集训练一棵新的树。重复该行为可以生成多棵树，称为随机森林。
如果有 n 个特征，一般要生成 棵树
XGBoost
对随机森林的提升：从第二次迭代开始，不是等概率随机抽样，而是让上一轮预测错误的样本有更大的概率被抽样到，以类似错误修正的方式训练树。
决策树与神经网络的选择
决策树在结构化数据下可用，非结构化数据不推荐；可解释
