决策树是如何工作的？
假设你在经营一家猫收养中心，并提供了一些功能，你想训练一个分类器来快速告诉你，动物到底是不是猫，这里有10个训练例子，并与这10个例子中的每一个相关联，我们将有关于动物耳朵形状的特征、脸型、有胡须都作为标志，然后预测的真实标签是这只动物猫，所以第一个例子是有尖耳朵，圆圆的脸，有胡须，而且是一只猫。第二个例子是有松软的耳朵，脸不是圆的，有胡须，是一只猫，这个数据集中有五只猫和五只狗，X是前三列和要预测的目标输入，Y是输出，这些特性只具有几个离散的值，你的形状要么是尖的，要么是软的，脸型不是圆就是不圆，胡须不是存在就是不存在，这是一个二进制分类任务，因为标签也是1或0，就目前而言，X1、X2、X3只得到两个可能的值，我们将讨论可以具有两个以上可能值的特性以及持续价值特征。
什么是决策树？
这里有一个模型的例子，可能会在训练决策树后得到它，刚才在数据集上看到的学习算法，学习算法像树，这些椭圆形或矩形中的每一个都称为树中的****节点，这种类似于树根在上方，树叶在底部，这个模型的工作方式是，如果你有一个新的测试示例，有一只耳朵形状尖尖的猫，脸圆圆的，有胡须，这个模型将查看这个示例并作出分类决策的方式是：我们将从树的这个最上面的节点开始，这称为树的根节点，会看到里边写着耳朵形状的特征，基于本例耳朵形状的值，是尖尖的，所以应该沿着左边的树枝往下走，在这里这个椭圆形节点结束，然后再看脸型，是圆的，沿着这个箭头向下，算法会作出一个推断，认为它是一只猫。这是一个特定的决策树模型，引入更多的术语，树中最上面的节点称为****根节点(root node)，所有这些节点都是椭圆形的，不包括底下的矩形，被称为决策节点(decision nodes)，因为这是一个特定的特征，然后根据特征的值，决定向左还是向右，最后底部的这些节点，这些矩形被称为****叶节点，这只是一个决策树的例子。
这是一个不同的决策树，用于尝试分类和不分类，在这个树中做出分类决策，将再次从这个最上面的根节点开始，根据一个例子的耳朵形状，要么向左，要么向右，如果耳朵形状是尖的，就向左，去看胡须存不存在，然后再判断是不是小猫。接下来三个例子都是不同的决策树，在这些决策树中，有些会做得更好，有些会做得更糟，或者在交叉验证和测试集上，所以决策树学习算法得工作是在所有可能的决策树中尝试选择一个在训练中表现出色的模型，然后理想的推广到新的数据，例如交叉验证和测试集。
