机器学习与深度学习05-决策树01

前文回顾

上一篇文章链接：地址

1.决策树的基本原理

决策树（Decision Tree）是一种用于分类和回归问题的机器学习模型。它是一个树状结构，其中每个节点代表一个特征，每个分支代表一个特征值，每个叶子节点代表一个类别或回归值。决策树的基本原理是根据输入特征逐步分割数据集，以便最终能够根据特征的值来预测目标变量的类别或值，基本工作原理为

根节点：开始时，整个数据集视为一个根节点。在根节点上，选择一个特征，将数据集分割成多个子集。选择的特征是基于某种度量标准，通常是根据信息增益（Entropy）、基尼不纯度（Gini Impurity）或均方误差（Mean Squared Error）等来进行选择
分支节点：接下来，每个子集都被视为一个分支节点，并在分支节点上选择另一个特征，再次将数据集分割成更小的子集。这个过程递归地进行下去，直到达到某个停止条件，如达到最大深度、节点中的样本数小于阈值，或者节点的不纯度低于阈值
叶子节点：当不再进行分割时，节点被标记为叶子节点，叶子节点中包含一个最终的类别标签（对于分类问题）或回归值（对于回归问题）。这个值是根据该节点上的数据集的主要类别（对于分类问题）或平均目标值（对于回归问题）来确定的
预测：一旦构建了决策树，对新的未见样本进行预测时，从根节点开始根据特征的值遍历树的分支，直到达到叶子节点。然后，将叶子节点的类别标签或回归值作为预测结果

决策树的优点包括易于理解和解释，能够处理数值和分类特征，对异常值不敏感

2.构建决策树的划分准则

决策树的构建过程中常用的划分准则有三种：

信息增益（Information Gain）
基尼不纯度（Gini Impurity）
均方误差（Mean Squared Error）

这些准则用于确定在每个节点上如何划分数据，以选择最佳的特征和划分方式。划分准则详解：

信息增益（Information Gain）：信息增益是用于分类问题的常见划分准则，它基于信息论的概念。在每个节点上，根据特征的取值将数据集分成多个子集，然后计算每个子集的熵（Entropy），然后计算信息增益，它是父节点熵与子节点熵之差。信息增益越大，意味着划分后的数据更加纯净，更有助于分类。选择信息增益最大的特征作为划分特征，可以使用熵的减少量来衡量。信息增益的问题是它偏向于选择具有较多取值的特征
基尼不纯度（Gini Impurity）：基尼不纯度是另一种用于分类问题的划分准则。在每个节点上，根据特征的取值将数据集分成多个子集，然后计算每个子集的基尼不纯度，它表示从该子集中随机选择两个样本，它们的类别标签不一致的概率。基尼不纯度越低，表示子节点的纯度越高。选择基尼不纯度最低的特征作为划分特征。基尼不纯度相对于信息增益更加偏好选择取值较少的特征，因此在某些情况下，它可能会对多分类问题更有利
均方误差（Mean Squared Error）：均方误差是用于回归问题的划分准则。在每个节点上，根据特征的取值将数据集分成多个子集，然后计算每个子集中目标变量的均方误差。均方误差越低，表示子节点的目标变量值更接近于均值，模型对数据的拟合越好。
选择均方误差最低的特征作为划分特征。均方误差通常用于回归决策树。选择最佳划分准则的方法通常取决于问题的性质和数据集的特点。在Scikit-Learn等机器学习库中，可以使用参数来指定划分准则。通常，信息增益和基尼不纯度用于分类问题，而均方误差用于回归问题。为了选择最佳特征和划分，决策树算法会尝试所有可能的特征和取值组合，并选择最优的划分方式，这个过程通常称为"贪心"方法。

需要注意的是，在决策树构建过程中，还可以应用剪枝（pruning）等技术来避免过拟合，提高模型的泛化性能。选择合适的划分准则和适当的剪枝策略对于构建高性能的决策树模型非常重要。

3.决策树中如何避免过拟合

过拟合（Overfitting）是指机器学习模型在训练数据上表现很好，但在未见过的测试数据上表现较差的现象。它表示模型过度适应了训练数据的噪声和细节，导致模型在面对新数据时泛化能力差。过拟合通常表现为模型在训练数据上的误差非常低，但在测试数据上的误差却较高，在决策树中避免过拟合的方法有

剪枝（Pruning）：剪枝是一种减小树的复杂度的方法，它通过移除一些叶子节点或将一些子树替换为叶子节点来降低模型的复杂度。这有助于减少模型对训练数据的拟合程度，提高模型的泛化能力。剪枝的关键是确定何时停止分裂节点以及如何选择要剪枝的节点。常用的剪枝策略包括预剪枝和后剪枝
限制树的深度（Max Depth）：限制树的深度是一种简单而有效的方法，通过设置树的最大深度可以控制树的复杂度。树的深度过大会增加过拟合的风险，因此限制树的深度有助于提高模型的泛化性能
增加最小样本数（Min Samples）：通过设置每个叶子节点的最小样本数，可以控制叶子节点的数量。增加最小样本数可以防止生成过于细分的叶子节点，从而减少模型的过拟合风险
限制叶子节点的最小样本数（Min Samples per Leaf）：与上一点类似，但是是限制每个叶子节点的最小样本数。这有助于确保叶子节点中的样本数量不会太少，从而减少过拟合
降低信息增益（Information Gain）阈值：信息增益用于选择划分特征，降低信息增益的阈值可以使模型更加保守，减少过度划分的可能性
随机森林（Random Forest）：随机森林是一种基于决策树的集成方法，通过随机选择特征子集和样本子集来构建多棵树，并将它们组合起来进行预测。随机森林通常能够降低过拟合风险，提高模型的泛化性能

避免过拟合是决策树模型中的一个关键问题，需要根据具体问题和数据集选择适当的方法来控制模型的复杂度。通常，通过组合多种策略，可以有效地减轻过拟合问题，使决策树模型更加稳健

4.决策树的剪枝操作

决策树的剪枝是一种用于减小树的复杂度、防止过拟合的技术。它的主要作用是通过修剪决策树的一部分（通常是叶子节点）来降低模型的复杂度，从而提高模型的泛化能力。剪枝是为了在保持模型预测能力的同时，减少模型对训练数据中噪声和细节的过度拟合，剪枝的基本思想是删除一些子树，使树变得更简单。在剪枝过程中，一些叶子节点可能会被合并，或者一些分支可能会被删除，以减少树的深度和复杂度。剪枝的目标是找到一个合适的平衡点，即在保持模型性能的前提下，降低树的复杂度，剪枝操作的一般步骤为

自底向上选择节点：剪枝通常从叶子节点开始，逐渐向上选择节点进行剪枝。这是因为剪枝操作从叶子节点开始，不会影响上层节点的判断，因此更容易控制模型的复杂度
计算剪枝前后的性能：对每个选择的节点，计算剪枝前后模型在验证集或测试集上的性能。通常使用交叉验证或留出法来评估模型性能
进行剪枝：根据性能评估，决定是否进行剪枝。如果剪枝后模型性能没有显著下降，可以执行剪枝操作。剪枝的具体方式包括删除子树、将节点变为叶子节点、合并相邻的叶子节点等
递归操作：一旦剪枝完成，需要递归地向上处理父节点，检查是否需要剪枝。这个过程一直持续到根节点

剪枝操作通常需要根据数据和具体问题来调整，因为过度剪枝会导致欠拟合，而不足剪枝会导致过拟合。为了确定合适的剪枝策略，可以使用交叉验证来评估不同剪枝参数的性能，选择在验证集上性能最佳的模型。Scikit - Learn等机器学习库通常提供了自动剪枝功能，你可以通过设置相关参数来控制剪枝过程。