吴恩达机器学习笔记 二十六 决策树学习过程 独热编码one-hot

决策树的学习过程

1. 所有样本都在根结点

2.计算所有可能的特征的信息增益，选择信息增益最大的那个

3.根据选择的特征分离数据集，创造左右两支子树

4.继续进行分裂直到达到停止标准。停止标准有：一个节点只有一类样本；分裂一个节点会导致树的深度超过最大值；从新的分裂得到的信息增益低于一个阈值；一个节点中的样本数低于一个阈值。

决策树可以看做一个**递归（recursive）**的过程

独热编码one-hot

例如猫狗分类，原本耳朵形状这个特征有三个可能的取值，采用独热编码的方式创建三个新的特征，每个特征只有两种情况（0或1） ，每个特征恰好有一个是1，所以叫独热。也可以推广到其他特征，用0或1来表示特征，可以将数字作为神经网络的输入。