1. 什么是决策树
学过数据结构与算法的小伙伴应该对树不陌生吧，这里的决策树也是大同小异的，只是每次反之都有一个条件来决定流向的。
1.1 决策节点
通过条件判断而进行分支选择的节点。如：将某个样本中的属性值(特征值)与决策节点上的值进行比较，从而判断它的流向。
1.2 叶子节点
没有子节点的节点，表示最终的决策结果。
1.3 决策树的深度
所有节点的最大层次数。
决策树具有一定的层次结构，根节点的层次数定为0，从下面开始每一层子节点层次数增加
1.4 决策树优点：
可视化 - 可解释能力-对算力要求低
1.5 决策树缺点：
容易产生过拟合，所以不要把深度调整太大了。
2. 为什么有决策树这个算法
决策树的出现，本质上是为了模拟人类的结构化决策过程，并解决实际场景中 "如何从数据中提炼规则" 的问题。具体原因可从以下角度理解：
2.1 模拟人类决策逻辑
人类在做决策时，往往会通过一系列 "是非判断" 逐步缩小范围。例如：买水果时，先看 "是否成熟"→ 再看 "价格是否合理"→ 最后决定 "买不买"；医生诊断时，先问 "是否发烧"→ 再查 "是否咳嗽"→ 最后判断 "可能的疾病"。决策树正是将这种 "层层判断" 的逻辑转化为数学模型，用树状结构（根节点→内部节点→叶节点）清晰呈现决策步骤，让机器能像人一样 "有条理地思考"。
2.2 解决 "从数据到规则" 的转化问题
现实中，很多数据隐含着可解释的决策规则（比如 "什么样的用户会流失""哪些贷款申请有风险"），但这些规则往往混杂在大量数据中，难以直接观察。
决策树通过算法自动从数据中挖掘这些规则（例如 "如果用户月消费＞500 元且使用时长＞2 年，则流失概率低"），并以树状图的形式可视化，让规则变得可理解、可复用。
2.3 应对复杂场景的灵活性
与早期的简单模型（如线性回归）相比，决策树能处理非线性关系（例如 "年龄对购买意愿的影响不是简单的正比或反比"），也能同时处理数值型数据（如收入）和类别型数据（如性别），适用场景更广泛。
举个例子
我们的决策树深度越深是不是就分的越详细，然后就越正确，但是这样往往就会过度拟合了，我们前面介绍到决策树算力较低那这个地方体现在哪里，看上面的例子，左边和右边的起始条件不同，所以分类的过程也是不一样的，但是我的起始条件对分类越重要是不是就能越快得出结果，那我们怎么来确定这个特征的重要程度呢？
3. 基于信息增益决策树的建立
3.1 信息熵
熵这个词出现在热力学中，熵越大，说明事物越混乱，越不确定，在机器学习中，特征越是不确定是不是就越难确定最终的分类结果，这种不确定性在这里成为信息熵，熵的大小取决于 "不同取值的概率分布是否均匀"，比如
用 "身高" 预测 "是否喜欢吃辣"。假设身高 160cm 的人中，50% 喜欢吃辣、50% 不喜欢；身高 170cm 的人中，同样是 50% 喜欢、50% 不喜欢...... 无论身高取什么值，目标类别的分布都接近均匀。此时 "身高" 的不确定性高（熵大），但身高数据本身是准确测量的（比如用卷尺精确记录），只是它和 "是否喜欢吃辣" 无关。
3.2 信息商的公式
3.3 信息增益
信息增益是一个统计量，用来描述一个属性区分数据样本的能力。信息增益越大，那么决策树就会越简洁。这里信息增益的程度用信息熵的变化程度来衡量, 上面的例子就有信息增益的影子，信息增益公式：
信息增益越大的是不是越能反映和类别的关联程度，所以越大的特征就放到前面的决策点出。
3.4 信息增益决策树建立步骤
我们先来算一下信息增益，
但是这里我们算的是职业他的类别很少，我们可以有具体得分类，要是我们看年龄的信息增益且不是要分好多次，所以我们这里以35为界限，弄一个范围，假如我们每一个值都归为一类虽然算力大，但是确实很准的，我们可不能要很准的结果。
假如就是职业算的信息增益最大，那我们就把他放到第一个判断的决策点，然后我们将这个特征筛选出，对剩下的重新计算，算出新的最大的信息增益。
4 基于基尼指数决策树的建立(了解)
基尼指数（Gini Index）是决策树算法中用于评估数据集纯度的一种度量，基尼指数衡量的是数据集的不纯度，或者说分类的不确定性。在构建决策树时，基尼指数被用来决定如何对数据集进行最优划分，以减少不纯度。
基尼指数的计算
对于一个二分类问题，如果一个节点包含的样本属于正类的概率是 (p)，则属于负类的概率是 (1-p)。那么，这个节点的基尼指数 (Gini(p)) 定义为：
基尼指数的意义
-
当一个节点的所有样本都属于同一类别时，基尼指数为 0，表示纯度最高。
-
当一个节点的样本均匀分布在所有类别时，基尼指数最大，表示纯度最低。
基尼指数越小的，越排到前面，确定了第一个之后，后面的也继续重复操作。
5 api
class sklearn.tree.DecisionTreeClassifier(....)
参数：
criterion "gini" "entropy" 默认为="gini"
当criterion取值为"gini"时采用 基尼不纯度（Gini impurity）算法构造决策树，
当criterion取值为"entropy"时采用信息增益（ information gain）算法构造决策树.
max_depth int, 默认为=None 树的最大深度
可视化决策树
function sklearn.tree.export_graphviz(estimator, out_file="iris_tree.dot", feature_names=iris.feature_names)
参数：
estimator决策树预估器
out_file生成的文档
feature_names节点特征属性名
功能:
把生成的文档打开，复制出内容粘贴到"http://webgraphviz.com/"中，点击"generate Graph"会生成一个树型的决策树图
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.tree import DecisionTreeClassifier, export_graphviz
# 1）获取数据集
iris = load_iris()
# 2）划分数据集
x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=22)
#3）标准化
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)
# 4）决策树预估器
estimator = DecisionTreeClassifier(criterion="entropy")
estimator.fit(x_train, y_train)
# 5）模型评估，计算准确率
score = estimator.score(x_test, y_test)
print("准确率为：\n", score)
# 6）预测
index=estimator.predict([[2,2,3,1]])
print("预测:\n",index,iris.target_names,iris.target_names[index])
# 可视化决策树
export_graphviz(estimator, out_file="iris_tree.dot", feature_names=iris.feature_names)