集成学习 —— 梯度提升树GBDT、XGBoost

目录

一、梯度提升树

[1、残差提升树 Boosting Decision Tree](#1、残差提升树 Boosting Decision Tree)

[2、梯度提升树 Gradient Boosting Decision Tree](#2、梯度提升树 Gradient Boosting Decision Tree)

二、构建案例

[1、 初始化弱学习器(CART树):](#1、 初始化弱学习器(CART树):)

[2、 构建第1个弱学习器](#2、 构建第1个弱学习器)

[3、 构建第2个弱学习器](#3、 构建第2个弱学习器)

[4、 构建第3个弱学习器](#4、 构建第3个弱学习器)

[5、 构建最终弱学习器](#5、 构建最终弱学习器)

[6、 构建总结](#6、 构建总结)

三、XGBoost

一、梯度提升树

1、残差提升树 Boosting Decision Tree

思想:通过拟合残差的思想来进行提升,残差:真实值 - 预测值

例如:

2、梯度提升树 Gradient Boosting Decision Tree

梯度提升树不再拟合残差,而是利用梯度下降的近似方法,利用损失函数的负梯度作为提升树算法中的残差近似值。

GBDT 拟合的负梯度就是残差。如果我们的 GBDT 进行的是分类问题,则损失函数变为 logloss,此时拟合的目标值就是该损失函数的负梯度值。

二、构建案例

已知:

1、 初始化弱学习器(CART树):

当模型预测值为何值时,会使得第一个弱学习器的平方误差最小,即:求损失函数对 f(xi) 的导数,并令导数为0。

2、 构建第1个弱学习器

根据负梯度的计算方法得到下表:

以此类推,计算所有切分点情况,得到:

由此得到,当 6.5 作为切分点时,平方损失最小,此时得到第1棵决策树。

3、 构建第2个弱学习器

以此类推,计算所有切分点情况,得到:

以3.5 作为切分点时,平方损失最小,此时得到第2棵决策树

4、 构建第3个弱学习器

以此类推,计算所有切分点情况,得到:

以6.5 作为切分点时,平方损失最小,此时得到第3棵决策树

5、 构建最终弱学习器

以 x=6 样本为例:输入到最终学习器中的结果 :(存在误差,说明学习器不够)

以此类推计算其他的预测值

6、 构建总结

  1. 初始化弱学习器(目标值的均值作为预测值)
  2. 迭代构建学习器,每一个学习器拟合上一个学习器的负梯度
  3. 直到达到指定的学习器个数
  4. 当输入未知样本时,将所有弱学习器的输出结果组合起来作为强学习器的输出

三、XGBoost

待补充..........

相关推荐
孟健7 分钟前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道8 分钟前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor99641 分钟前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音
字节跳动视频云技术团队2 小时前
接大模型别再自己配 Key、搭代理了,火山引擎 IGA Pages 一步搞定
人工智能
阿里云大数据AI技术2 小时前
EMR Serverless StarRocks 产品介绍:从统一 OLAP 走向多模态分析与检索
人工智能
Forget the Dream3 小时前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai
郝学胜-神的一滴3 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib
塑料铲子3 小时前
你的 Skill 越多越蠢?Token 上下文爆炸的求生指南
机器学习·agent
火山引擎开发者社区3 小时前
豆包工作,3 个月,800 万,20 亿
人工智能
Chuck.li4 小时前
AI 长篇创作工具选型:工作流对照与自测清单
人工智能·大模型·ai写作·网文作者·ai网文·豆包写作