集成学习 —— 梯度提升树GBDT、XGBoost

目录

一、梯度提升树

[1、残差提升树 Boosting Decision Tree](#1、残差提升树 Boosting Decision Tree)

[2、梯度提升树 Gradient Boosting Decision Tree](#2、梯度提升树 Gradient Boosting Decision Tree)

二、构建案例

[1、 初始化弱学习器(CART树):](#1、 初始化弱学习器(CART树):)

[2、 构建第1个弱学习器](#2、 构建第1个弱学习器)

[3、 构建第2个弱学习器](#3、 构建第2个弱学习器)

[4、 构建第3个弱学习器](#4、 构建第3个弱学习器)

[5、 构建最终弱学习器](#5、 构建最终弱学习器)

[6、 构建总结](#6、 构建总结)

三、XGBoost

一、梯度提升树

1、残差提升树 Boosting Decision Tree

思想:通过拟合残差的思想来进行提升,残差:真实值 - 预测值

例如:

2、梯度提升树 Gradient Boosting Decision Tree

梯度提升树不再拟合残差,而是利用梯度下降的近似方法,利用损失函数的负梯度作为提升树算法中的残差近似值。

GBDT 拟合的负梯度就是残差。如果我们的 GBDT 进行的是分类问题,则损失函数变为 logloss,此时拟合的目标值就是该损失函数的负梯度值。

二、构建案例

已知:

1、 初始化弱学习器(CART树):

当模型预测值为何值时,会使得第一个弱学习器的平方误差最小,即:求损失函数对 f(xi) 的导数,并令导数为0。

2、 构建第1个弱学习器

根据负梯度的计算方法得到下表:

以此类推,计算所有切分点情况,得到:

由此得到,当 6.5 作为切分点时,平方损失最小,此时得到第1棵决策树。

3、 构建第2个弱学习器

以此类推,计算所有切分点情况,得到:

以3.5 作为切分点时,平方损失最小,此时得到第2棵决策树

4、 构建第3个弱学习器

以此类推,计算所有切分点情况,得到:

以6.5 作为切分点时,平方损失最小,此时得到第3棵决策树

5、 构建最终弱学习器

以 x=6 样本为例:输入到最终学习器中的结果 :(存在误差,说明学习器不够)

以此类推计算其他的预测值

6、 构建总结

  1. 初始化弱学习器(目标值的均值作为预测值)
  2. 迭代构建学习器,每一个学习器拟合上一个学习器的负梯度
  3. 直到达到指定的学习器个数
  4. 当输入未知样本时,将所有弱学习器的输出结果组合起来作为强学习器的输出

三、XGBoost

待补充..........

相关推荐
视觉语言导航9 分钟前
CVPR-2025 | 具身导航指令高效生成!MAPInstructor:基于场景图的导航指令生成Prompt调整策略
人工智能·机器人·具身智能
wanhengidc15 分钟前
云手机与人工智能之间的关系
人工智能·智能手机
Sic_MOS_7801682421 分钟前
超高密度2kW GaN基低压电机驱动器的设计
人工智能·经验分享·汽车·集成测试·硬件工程·能源
老坛程序员40 分钟前
抓包解析MCP协议:基于JSON-RPC的MCP host与MCP server的交互
人工智能·网络协议·rpc·json·交互
努力毕业的小土博^_^1 小时前
【深度学习|学习笔记】详细讲解一下 深度学习训练过程中 为什么 Momentum 可以加速训练?
人工智能·笔记·深度学习·学习·momentum
飞哥数智坊1 小时前
DeepSeek 节前突袭发布 V3.2-Exp:长文本推理成本直降75%!
人工智能·deepseek
清风吹过1 小时前
少样本学习论文分享:多模态和类增量学习
论文阅读·人工智能·深度学习·学习·机器学习
居然JuRan1 小时前
抽丝剥茧的Transformer详解
人工智能
计算机小手1 小时前
AI截图解答工具,可自定义设置多模态模型和提示词
人工智能·经验分享·开源软件
资讯全球2 小时前
2025年用户体验佳的大型企业报销系统
人工智能·百度·ux