提升树 (Boosting Decision Tree )
每一个弱学习器通过拟合残差来构建强学习器
梯度提升树 (Gradient Boosting Decision Tree)
每一个弱学习器通过拟合负梯度来构建强学习器
一、提升树
残差
数学公式为:
残差=真实值−预测值

其中:
- ri:第 i 个样本的残差
- yi:第 i 个样本的真实值(观测值)
- y^i:模型对第 i 个样本的预测值

二、GBDT
GBDT(梯度提升树)不再拟合残差,而是利用梯度下降的近似方法,利用损失函数的负梯度作为提升树算法中的残差近似值。
负梯度
负梯度=残差=真实值-预测值
流程
1 初始化弱学习器(目标值的均值作为预测值)
2 迭代构建学习器,每一个学习器拟合上一个学习器的负梯度
3 直到达到指定的学习器个数
4 当输入未知样本时,将所有弱学习器的输出结果组合起来作为强学习器的输出
详细过程





