CART决策树基本原理

分类与回归树(classification and regression tree, CART)模型由特征选择、树的生成及剪枝组成，既可以用于分类也可以用于回归。

以下将用于分类与回归的树统称为决策树。CART是在给定输入随机变量 $X\; X$X条件下输出随机变量 $Y\; Y$Y的条件概率分布的学习方法。CART假设决策树是二叉树，内部结点特征的取值为"是"和"否"​，左分支是取值为"是"的分支，右分支是取值为"否"的分支。这样的决策树等价于递归地二分每个特征，将输入空间即特征空间划分为有限个单元，并在这些单元上确定预测的概率分布，也就是在输入给定的条件下输出的条件概率分布。

CART算法由以下两步组成：

1. 决策树生成：基于训练数据集生成决策树，生成的决策树要尽量大；
2. 决策树剪枝：用验证数据集对已生成的树进行剪枝并选择最优子树，这时用损失函数最小作为剪枝的标准。

CART生成

决策树的生成就是递归地构建二叉决策树的过程。对回归树用平方误差最小化准则，对分类树用基尼指数(Gini index)最小化准则，进行特征选择，生成二叉树。

分类树

分类树用基尼不纯度和基尼指数选择最优特征，同时决定该特征的最优二值切分点。

基尼不纯度

分类问题中，假设有 $K\; K$K个类，样本点属于第 $k\; k$k类的概率为 $p\; k\; p\_k$pk，则概率分布的基尼不纯度(Gini impurity)定义为
$$G\; (\; p\; )\; =\; \sum \; k\; =\; 1\; K\; p\; k\; (\; 1\; -\; p\; k\; )\; =\; 1\; -\; \sum \; k\; =\; 1\; K\; p\; k\; 2\; \backslash begin\{equation\}\; G(p)=\backslash sum\_\{k=1\}^Kp\_k(1-p\_k)=1-\backslash sum\_\{k=1\}^Kp\_k^2\; \backslash end\{equation\}$$G(p)=k=1∑Kpk(1−pk)=1−k=1∑Kpk2

对于二类分类问题，若样本点属于第1个类的概率是 $p\; p$p，则概率分布的基尼不纯度为
$$G\; (\; p\; )\; =\; 2\; p\; (\; 1\; -\; p\; )\; \backslash begin\{equation\}\; G(p)=2p(1-p)\; \backslash end\{equation\}$$G(p)=2p(1−p)

对于给定的样本集合 $D\; D$D，其基尼不纯度为
$$G\; (\; D\; )\; =\; 1\; -\; \sum \; k\; =\; 1\; K\; (\; \mid \; C\; k\; \mid \; \mid \; D\; \mid \; )\; 2\; \backslash begin\{equation\}\; G(D)=1-\backslash sum\_\{k=1\}^K\backslash left(\backslash frac\{|C\_k|\}\{|D|\}\backslash right)^2\; \backslash end\{equation\}$$G(D)=1−k=1∑K(∣D∣∣Ck∣)2

这里， $C\; k\; C\_k$Ck是 $D\; D$D中属于第 $k\; k$k类的样本子集， $K\; K$K是类的个数。基尼不纯度 $G\; (\; D\; )\; G(D)$G(D)表示集合 $D\; D$D的不确定性。

基尼增益

如果样本集合 $D\; D$D根据特征 $A\; A$A是否取某一可能值 $a\; a$a被分割成 $D\; 1\; D\_1$D1和 $D\; 2\; D\_2$D2两部分，即
$$D\; 1\; =\; \{\; (\; x\; ,\; y\; )\; \in \; D\; \mid \; A\; (\; x\; )\; =\; a\; \}\; D\; 2\; =\; \{\; (\; x\; ,\; y\; )\; \in \; D\; \mid \; A\; (\; x\; )\; ≠\; a\; \}\; \backslash begin\{equation\}\; \backslash begin\{aligned\}\; D\_1=\backslash \{(x,y)\backslash in\; D|A(x)=a\backslash \}\backslash \backslash \; D\_2=\backslash \{(x,y)\backslash in\; D|A(x)\backslash not=a\backslash \}\; \backslash end\{aligned\}\; \backslash end\{equation\}$$D1={(x,y)∈D∣A(x)=a}D2={(x,y)∈D∣A(x)=a}

基尼不纯度 $G\; (\; D\; 1\; )\; G(D\_1)$G(D1)和 $G\; (\; D\; 2\; )\; G(D\_2)$G(D2)分别根据子集合 $D\; 1\; D\_1$D1和 $D\; 2\; D\_2$D2里的样本情况进行计算。集合 $D\; ,\; D\; 1\; ,\; D\; 2\; D,D\_1,D\_2$D,D1,D2中的样本数量分别用 $\mid \; D\; \mid \; ,\; \mid \; D\; 1\; \mid \; ,\; \mid \; D\; 2\; \mid \; |D|,|D\_1|,|D\_2|$∣D∣,∣D1∣,∣D2∣表示，则根据属性 $A\; A$A的值 $a\; a$a进行划分时，所获得的基尼增益(Gini gain)的计算公式如下：
$$G\; G\; (\; A\; =\; a\; )\; =\; G\; (\; D\; )\; -\; \mid \; D\; 1\; \mid \; \mid \; D\; \mid \; G\; (\; D\; 1\; )\; -\; \mid \; D\; 2\; \mid \; \mid \; D\; \mid \; G\; (\; D\; 2\; )\; \backslash begin\{equation\}\; GG(A=a)=G(D)-\backslash frac\{|D\_1|\}\{|D|\}G(D\_1)-\backslash frac\{|D\_2|\}\{|D|\}G(D\_2)\; \backslash end\{equation\}$$GG(A=a)=G(D)−∣D∣∣D1∣G(D1)−∣D∣∣D2∣G(D2)

基尼指数

在针对节点进行属性和分割点的选择时，面对的是同一个数据集合 $D\; D$D，这个集合可能是最初的完整数据集合，也可能是经过分割后形成的子集合。但无论哪种情况， $G\; (\; D\; )\; G(D)$G(D)都是相同的，因此可以对基尼增益的计算公式进行变换，得到基尼指数(Gini index)​，它的计算公式如下：
$$G\; I\; (\; D\; )\; =\; \mid \; D\; 1\; \mid \; D\; G\; (\; D\; 1\; )\; +\; \mid \; D\; 2\; \mid \; D\; G\; (\; D\; 2\; )\; \backslash begin\{equation\}\; GI(D)=\backslash frac\{|D\_1|\}\{D\}G(D\_1)+\backslash frac\{|D\_2|\}\{D\}G(D\_2)\; \backslash end\{equation\}$$GI(D)=D∣D1∣G(D1)+D∣D2∣G(D2)

基尼指数 $G\; I\; (\; D\; ,\; A\; )\; GI(D,A)$GI(D,A)表示经 $A\; =\; a\; A=a$A=a分割后集合 $D\; D$D的不确定性，反映了从数据集 $D\; D$D中随机抽取两个样本，其类别标记不一致的概率。基尼指数值越小，样本集合的不确定性也就越小，做出的分割就越好，这一点与熵相似。

下图显示二类分类问题中基尼指数 $G\; I\; (\; D\; )\; GI(D)$GI(D)​、熵（单位比特）之半 $H\; (\; p\; )\; 2\; \backslash frac\{H(p)\}\{2\}$2H(p)和分类误差率的关系。横坐标表示概率 $p\; p$p，纵坐标表示损失。可以看出基尼指数和熵之半的曲线很接近，都可以近似地代表分类误差率。

CART分类树生成算法

输入：训练数据集 $D\; D$D，停止计算的条件。

输出：CART分类树。

根据训练数据集，从根结点开始，递归地对每个结点进行以下操作，构建二叉分类树：

1. 设结点的训练数据集为 $D\; D$D，计算现有特征对该数据集的基尼指数。此时，对每一个特征 $A\; A$A，对其可能取的每个值 $a\; a$a，根据样本点对 $A\; =\; a\; A=a$A=a的测试为"是"或"否"将 $D\; D$D分割成 $D\; 1\; D\_1$D1和 $D\; 2\; D\_2$D2两部分，利用式(6)计算 $A\; =\; a\; A=a$A=a时的基尼指数。
2. 在所有可能的特征 $A\; A$A以及它们所有可能的切分点 $a\; a$a中，选择基尼指数最小的特征及其对应的切分点作为最优特征与最优切分点。依最优特征与最优切分点，从现结点生成两个子结点，将训练数据集依特征分配到两个子结点中去。
3. 对两个子结点递归地调用步骤1和2，直至满足停止条件。
4. 生成CART决策树。

算法停止计算的条件是结点中的样本个数小于预定阈值，或样本集的基尼指数小于预定阈值（样本基本属于同一类）​，或者没有更多特征。

回归树

假设 $X\; X$X与 $Y\; Y$Y分别为输入和输出变量，并且 $Y\; Y$Y是连续变量，给定训练数据集 $D\; =\; \{\; (\; x\; i\; ,\; y\; i\; )\; \}\; i\; =\; 1\; N\; D=\backslash \{(x\_i,y\_i)\backslash \}\_\{i=1\}^N$D={(xi,yi)}i=1N考虑如何生成回归树。

一棵回归树对应着输入空间（即特征空间）的一个划分以及在划分的单元上的输出值。假设已将输入空间划分为 $M\; M$M个单元 $R\; m\; ,\; m\; =\; 1\; ,\; 2\; ,\; \cdots \; \hspace{0.17em}\; ,\; M\; R\_m,m=1,2,\backslash cdots,M$Rm,m=1,2,⋯,M，并且在每个单元 $R\; m\; R\_m$Rm上有一个固定的输出值 $c\; m\; c\_m$cm，于是回归树模型可表示为
$$f\; (\; x\; )\; =\; \sum \; m\; =\; 1\; M\; c\; m\; I\; (\; x\; \in \; R\; m\; )\; \backslash begin\{equation\}\; f(x)=\backslash sum\_\{m=1\}^Mc\_mI(x\backslash in\; R\_m)\; \backslash end\{equation\}$$f(x)=m=1∑McmI(x∈Rm)

当输入空间的划分确定时，可以用平方误差
$$1\; n\; \sum \; m\; =\; 1\; M\; \sum \; x\; i\; \in \; R\; m\; (\; y\; i\; -\; f\; (\; x\; i\; )\; )\; 2\; \backslash frac\{1\}\{n\}\backslash sum\_\{m=1\}^M\backslash sum\_\{x\_i\backslash in\; R\_m\}(y\_i-f(x\_i))^2$$n1m=1∑Mxi∈Rm∑(yi−f(xi))2

来表示回归树对于训练数据的预测误差，用平方误差最小的准则求解每个单元上的最优输出值。

问题是怎样对输入空间进行划分。这里采用启发式的方法，选择第 $j\; j$j个变量 $x\; (\; j\; )\; x^\{(j)\}$x(j)和它取的值 $s\; s$s，作为切分变量(splitting variable)和切分点(splitting point)​，并定义两个区域：
$$R\; 1\; (\; j\; ,\; s\; )\; =\; \{\; x\; \mid \; x\; (\; j\; )\; \le \; s\; \}\; R\; 2\; (\; j\; ,\; s\; )\; =\; \{\; x\; \mid \; x\; (\; j\; )\; >\; s\; \}\; \backslash begin\{equation\}\; \backslash begin\{aligned\}\; R\_1(j,s)=\backslash \{x|x^\{(j)\}\backslash le\; s\backslash \}\backslash \backslash \; R\_2(j,s)=\backslash \{x|x^\{(j)\}>s\backslash \}\; \backslash end\{aligned\}\; \backslash end\{equation\}$$R1(j,s)={x∣x(j)≤s}R2(j,s)={x∣x(j)>s}

然后寻找最优切分变量 $j\; j$j和最优切分点 $s\; s$s。具体地，求解
$$min\; \; j\; ,\; s$$ min ⁡ c 1 ∑ x i ∈ R 1 ( j , s ) ( y i − c 1 ) 2 + min ⁡ c 2 ∑ x i ∈ R 2 ( j , s ) ( y i − c 2 ) 2 \begin{equation} \min_{j,s}\left\\min_{c_1}\\sum_{x_i\\in R_1(j,s)}(y_i-c_1)\^2+\\min_{c_2}\\sum_{x_i\\in R_2(j,s)}(y_i-c_2)\^2\\right \end{equation} j,smin c1minxi∈R1(j,s)∑(yi−c1)2+c2minxi∈R2(j,s)∑(yi−c2)2

对固定输入变量 $j\; j$j可以找到最优切分点 $s\; s$s。

易知，单元 $R\; m\; R\_m$Rm上的 $c\; m\; c\_m$cm的最优值 $c\; ^\; m\; \backslash hat\{c\}\_m$c^m是 $R\; m\; R\_m$Rm上的所有输入实例 $x\; i\; x\_i$xi对应的输出 $y\; i\; y\_i$yi的均值，即
$$c\; ^\; m\; =\; a\; v\; e\; (\; y\; i\; \mid \; x\; i\; \in \; R\; m\; (\; j\; ,\; s\; )\; )\; =\; 1\; N\; m\; \sum \; x\; i\; \in \; R\; m\; (\; j\; ,\; s\; )\; y\; i\; ,\; x\; \in \; R\; m\; ,\; m\; =\; 1\; ,\; 2\; \backslash begin\{equation\}\; \backslash hat\{c\}$$m=ave(y_i|x_i\in R_m(j,s))=\frac{1}{N_m}\sum{x_i\in R_m(j,s)}y_i,x\in R_m,m=1,2 \end{equation} c^m=ave(yi∣xi∈Rm(j,s))=Nm1xi∈Rm(j,s)∑yi,x∈Rm,m=1,2

遍历所有输入变量，找到最优的切分变量 $j\; j$j，构成一个对 $(\; j\; ,\; s\; )\; (j,s)$(j,s)​。依此将输入空间划分为两个区域。接着，对每个区域重复上述划分过程，直到满足停止条件为止。这样就生成一棵回归树。这样的回归树通常称为最小二乘回归树(least squares regression tree)​，现将算法叙述如下。

最小二乘回归树生成算法

输入：训练数据集 $D\; D$D；

输出：回归树 $f\; (\; x\; )\; f(x)$f(x)​。

在训练数据集所在的输入空间中，递归地将每个区域划分为两个子区域并决定每个子区域上的输出值，构建二叉决策树：

1. 选择最优切分变量 $j\; j$j与切分点 $s\; s$s，求解式(8)。遍历变量 $j\; j$j，对固定的切分变量 $j\; j$j扫描切分点 $s\; s$s，选择使式(8)达到最小值的对 $(\; j\; ,\; s\; )\; (j,s)$(j,s)。
2. 用选定的对 $(\; j\; ,\; s\; )\; (j,s)$(j,s)划分区域并决定式(7)和式(9)中的 $R\; 1\; ,\; R\; 2\; ,\; c\; 1\; ,\; c\; 2\; R\_1,R\_2,c\_1,c\_2$R1,R2,c1,c2。
3. 继续对两个子区域调用步骤(1)和(2)，直至满足停止条件。
4. 将输入空间划分为 $M\; M$M个区域 $R\; m\; ,\; m\; =\; 1\; ,\; 2\; ,\; \cdots \; \hspace{0.17em}\; ,\; M\; R\_m,m=1,2,\backslash cdots,M$Rm,m=1,2,⋯,M，生成决策树，即式(6)。

CART剪枝

CART剪枝算法从"完全生长"的决策树的底端剪去一些子树，使决策树变小（模型变简单）​，从而能够对未知数据有更准确的预测。CART剪枝算法由两步组成：首先从生成算法产生的决策树 $T\; 0\; T\_0$T0底端开始不断剪枝，直到 $T\; 0\; T\_0$T0的根结点，形成一个子树序列 $\{\; T\; i\; \}\; i\; =\; 0\; n\; \backslash \{T\_i\backslash \}\_\{i=0\}^n${Ti}i=0n；然后通过交叉验证法在独立的验证数据集上对子树序列进行测试，从中选择最优子树。

在剪枝过程中，计算子树的损失函数：
$$C\; \alpha \; (\; T\; )\; =\; C\; (\; T\; )\; +\; \alpha \; \mid \; T\; \mid \; \backslash begin\{equation\}\; C\_\backslash alpha(T)=C(T)+\backslash alpha|T|\; \backslash end\{equation\}$$Cα(T)=C(T)+α∣T∣

其中， $T\; T$T为任意子树， $C\; (\; T\; )\; C(T)$C(T)为对训练数据的预测误差（如基尼指数）​， $\mid \; T\; \mid \; |T|$∣T∣为子树的叶结点个数， $\alpha \; \ge \; 0\; \backslash alpha\backslash ge\; 0$α≥0为参数， $C\; \alpha \; (\; T\; )\; C\_\backslash alpha(T)$Cα(T)为参数是 $\alpha \; \backslash alpha$α时的子树T的整体损失。参数 $\alpha \; \backslash alpha$α权衡训练数据的拟合程度与模型的复杂度。

对固定的 $\alpha \; \backslash alpha$α，一定存在使损失函数 $C\; \alpha \; (\; T\; )\; C\_\backslash alpha(T)$Cα(T)最小的子树，将其表示为 $T\; \alpha \; T\_\backslash alpha$Tα。 $T\; \alpha \; T\_\backslash alpha$Tα在损失函数 $C\; \alpha \; (\; T\; )\; C\backslash alpha(T)$Cα(T)最小的意义下是最优的。容易验证这样的最优子树是唯一的。当 $\alpha \; \backslash alpha$α大的时候，最优子树 $T\; \alpha \; T\_\backslash alpha$Tα偏小；当 $\alpha \; \backslash alpha$α小的时候，最优子树 $T\; \alpha \; T\_\backslash alpha$Tα偏大。极端情况，当\alpha=0时，整体树是最优的。当 $\alpha \; \to \; \infty \; \backslash alpha\backslash rightarrow\backslash infty$α→∞时，根结点组成的单结点树是最优的。

Breiman等人证明：可以用递归的方法对树进行剪枝。将 $\alpha \; \backslash alpha$α从小增大， 0=α0<α1<⋯<αn<+∞，产生一系列的区间 $[\; \alpha \; i\; ,\; \alpha \; i\; +\; 1\; )\; ,\; i\; =\; 0\; ,\; 1\; ,\; ...\; ,\; n\; [\backslash alpha\_i,\backslash alpha\_i+1),i=0,1,...,n$[αi,αi+1),i=0,1,...,n；剪枝得到的子树序列对应着区间 $\alpha \; \in \; [\; \alpha \; i\; ,\; \alpha \; i\; +\; 1\; )\; ,\; i\; =\; 0\; ,\; 1\; ,\; ...\; ,\; n\; \backslash alpha\backslash in[\backslash alpha\_i,\backslash alpha\_i+1),i=0,1,...,n$α∈[αi,αi+1),i=0,1,...,n的最优子树序列 $\{\; T\; i\; \}\; i\; =\; 0\; n\; \backslash \{T\_i\backslash \}\_\{i=0\}^n${Ti}i=0n，序列中的子树是嵌套的。

具体地，从整体树 $T\; 0\; T\_0$T0开始剪枝。对 $T\; 0\; T\_0$T0的任意内部结点 $t\; t$t，以 $t\; t$t为单叶子结点树的损失函数是
$$C\; \alpha \; (\; t\; )\; =\; C\; (\; t\; )\; +\; \alpha \; \backslash begin\{equation\}\; C\_\backslash alpha(t)=C(t)+\backslash alpha\; \backslash end\{equation\}$$Cα(t)=C(t)+α

以 $t\; t$t为根结点的子树 $T\; t\; T\_t$Tt的损失函数是
$$C\; \alpha \; (\; T\; t\; )\; =\; C\; (\; T\; t\; )\; +\; \alpha \; \mid \; T\; t\; \mid \; \backslash begin\{equation\}\; C\_\backslash alpha(T\_t)=C(T\_t)+\backslash alpha|T\_t|\; \backslash end\{equation\}$$Cα(Tt)=C(Tt)+α∣Tt∣

当 $\alpha \; =\; 0\; \backslash alpha=0$α=0及 $\alpha \; \backslash alpha$α充分小时，有不等式
Cα(Tt)<Cα(t)

当 $\alpha \; \backslash alpha$α增大时，在某一 $\alpha \; \backslash alpha$α有
$$C\; \alpha \; (\; T\; t\; )\; =\; C\; \alpha \; (\; t\; )\; \backslash begin\{equation\}\; C\_\backslash alpha(T\_t)=C\_\backslash alpha(t)\; \backslash end\{equation\}$$Cα(Tt)=Cα(t)

当 $\alpha \; \backslash alpha$α再增大时，不等式(14)反向。只要 $\alpha \; =\; C\; (\; t\; )\; -\; C\; (\; T\; t\; )\; \mid \; T\; t\; \mid \; -\; 1\; ,\; T\; t\; \backslash alpha=\backslash frac\{C(t)-C(T\_t)\}\{|T\_t|-1\},T\_t$α=∣Tt∣−1C(t)−C(Tt),Tt与 $t\; t$t有相同的损失函数值，而 $t\; t$t的结点少，因此 $t\; t$t比 $T\; t\; T\_t$Tt更可取，对 $T\; t\; T\_t$Tt进行剪枝。

为此，对 $T\; 0\; T\_0$T0中每一内部结点 $t\; t$t，计算
$$g\; (\; t\; )\; =\; C\; (\; t\; )\; -\; C\; (\; T\; t\; )\; \mid \; T\; t\; \mid \; -\; 1\; \backslash begin\{equation\}\; g(t)=\backslash frac\{C(t)-C(T\_t)\}\{|T\_t|-1\}\; \backslash end\{equation\}$$g(t)=∣Tt∣−1C(t)−C(Tt)

它表示剪枝后整体损失函数减少的程度。在 $T\; 0\; T\_0$T0中剪去 $g\; (\; t\; )\; g(t)$g(t)最小的 $T\; t\; T\_t$Tt，将得到的子树作为 $T\; 1\; T\_1$T1，同时将最小的 $g\; (\; t\; )\; g(t)$g(t)设为 $\alpha \; 1\; \backslash alpha\_1$α1。 $T\; 1\; T\_1$T1为区间 $[\; \alpha \; 1\; ,\; \alpha \; 2\; )\; [\backslash alpha\_1,\backslash alpha\_2)$[α1,α2)的最优子树。

如此剪枝下去，直至得到根结点。在这一过程中，不断地增加 $\alpha \; \backslash alpha$α的值，产生新的区间。

CART剪枝算法

输入：CART算法生成的决策树 $T\; 0\; T\_0$T0；

输出：最优决策树 $T\; \alpha \; T\_\alpha$Tα。

1. 设 $k\; =\; 0\; ,\; T\; =\; T\; 0\; k=0,T=T\_0$k=0,T=T0。

2. 设 $\alpha \; =\; +\; \infty \; \backslash alpha=+\backslash infty$α=+∞。

3. 自上而下地对各内部结点 $t\; t$t计算 $C\; (\; T\; t\; )\; ,\; \mid \; T\; t\; \mid \; ,\; g\; (\; t\; )\; C(T\_t),|T\_t|,g(t)$C(Tt),∣Tt∣,g(t)以及

$$\alpha \; =\; min\; \; (\; \alpha \; ,\; g\; (\; t\; )\; )\; \backslash alpha=\backslash min(\backslash alpha,g(t))$$α=min(α,g(t))

这里， $T\; t\; T\_t$Tt表示以 $t\; t$t为根结点的子树， $C\; (\; T\; t\; )\; C(T\_t)$C(Tt)是对训练数据的预测误差， $\mid \; T\; t\; \mid \; |T\_t|$∣Tt∣是 $T\; t\; T\_t$Tt的叶结点个数。

4. 对 $g\; (\; t\; )\; =\; \alpha \; g(t)=\backslash alpha$g(t)=α的内部结点 $t\; t$t进行剪枝，并对叶结点 $t\; t$t以多数表决法决定其类，得到树 $T\; T$T。

5. 设 $k\; =\; k\; +\; 1\; ,\; \alpha \; k\; =\; \alpha \; ,\; T\; k\; =\; T\; k=k+1,\backslash alpha\_k=\backslash alpha,T\_k=T$k=k+1,αk=α,Tk=T。

6. 如果 $T\; k\; T\_k$Tk不是由根结点及两个叶结点构成的树，则回到步骤2；否则令 $T\; k\; =\; T\; n\; T\_k=T\_n$Tk=Tn。

交叉验证法

有些文献将交叉验证法写进CCP算法中，成为CCP算法的一部分，这样是说不通的。交叉验证法的原理是将原始训练集拆分为训练集和验证集（注意不是测试集），使用训练集进行训练，验证集进行测试，以防止过拟合。

表现在CCP算法中，应为将原始训练集拆分为训练集和验证集，使用训练集生成决策树并剪枝，再使用验证集根据总误差最小的原则选择最优的决策树。