Day22_【机器学习—集成学习(4)—Boosting—GBDT算法】

提升树 (Boosting Decision Tree )

每一个弱学习器通过拟合残差来构建强学习器

梯度提升树 (Gradient Boosting Decision Tree)

每一个弱学习器通过拟合负梯度来构建强学习器

一、提升树

残差

数学公式为:

残差=真实值−预测值

其中:

  • ri:第 i 个样本的残差
  • yi:第 i 个样本的真实值(观测值)
  • y^i:模型对第 i 个样本的预测值

二、GBDT

GBDT(梯度提升树)不再拟合残差,而是利用梯度下降的近似方法,利用损失函数的负梯度作为提升树算法中的残差近似值。

负梯度

负梯度=残差=真实值-预测值

流程

1 初始化弱学习器(目标值的均值作为预测值)

2 迭代构建学习器,每一个学习器拟合上一个学习器的负梯度

3 直到达到指定的学习器个数

4 当输入未知样本时,将所有弱学习器的输出结果组合起来作为强学习器的输出

详细过程

相关推荐
DatGuy4 小时前
Week 15: 深度学习补遗:集成学习初步
人工智能·深度学习·集成学习
THMAIL6 小时前
机器学习从入门到精通 - Transformer颠覆者:BERT与预训练模型实战解析
python·随机森林·机器学习·分类·bootstrap·bert·transformer
IT毕设实战小研7 小时前
2026届大数据毕业设计选题推荐-基于大数据旅游数据分析与推荐系统 爬虫数据可视化分析
大数据·人工智能·爬虫·机器学习·架构·数据分析·课程设计
m0_677034357 小时前
机器学习-决策树(下)
人工智能·决策树·机器学习
THMAIL8 小时前
机器学习从入门到精通 - 循环神经网络(RNN)与LSTM:时序数据预测圣经
人工智能·python·rnn·算法·机器学习·逻辑回归·lstm
陈敬雷-充电了么-CEO兼CTO8 小时前
具身智能模拟器:解决机器人实机训练场景局限与成本问题的创新方案
大数据·人工智能·机器学习·chatgpt·机器人·具身智能
easy20209 小时前
从 Excel 趋势线到机器学习:拆解 AI 背后的核心框架
人工智能·笔记·机器学习
DeeplyMind10 小时前
AMD KFD驱动技术分析16:SVM Aperture
人工智能·机器学习·amdgpu·rocm·kfd
非门由也10 小时前
《sklearn机器学习——聚类性能指标》Silhouette 系数
机器学习·聚类·sklearn