Day22_【机器学习—集成学习(4)—Boosting—GBDT算法】

提升树 (Boosting Decision Tree )

每一个弱学习器通过拟合残差来构建强学习器

梯度提升树 (Gradient Boosting Decision Tree)

每一个弱学习器通过拟合负梯度来构建强学习器

一、提升树

残差

数学公式为:

残差=真实值−预测值

其中:

  • ri:第 i 个样本的残差
  • yi:第 i 个样本的真实值(观测值)
  • y^i:模型对第 i 个样本的预测值

二、GBDT

GBDT(梯度提升树)不再拟合残差,而是利用梯度下降的近似方法,利用损失函数的负梯度作为提升树算法中的残差近似值。

负梯度

负梯度=残差=真实值-预测值

流程

1 初始化弱学习器(目标值的均值作为预测值)

2 迭代构建学习器,每一个学习器拟合上一个学习器的负梯度

3 直到达到指定的学习器个数

4 当输入未知样本时,将所有弱学习器的输出结果组合起来作为强学习器的输出

详细过程

相关推荐
且慢.58910 小时前
机器学习/深度学习名词理解
人工智能·深度学习·机器学习
ygy.白茶11 小时前
基于 PyTorch 的模型测试与全局平均池化实践
人工智能·深度学习·机器学习
星川皆无恙11 小时前
电商机器学习线性回归:基于 Python 电商数据爬虫可视化分析预测系统
大数据·人工智能·爬虫·python·机器学习·数据分析·线性回归
羽落·星辰11 小时前
NAFNet (Simple Baselines for Image Restoration) 阅读笔记
笔记·深度学习·机器学习
Godspeed Zhao13 小时前
自动驾驶中的传感器技术53——Radar(14)
人工智能·机器学习·自动驾驶
Python极客之家13 小时前
基于机器学习的心血管疾病智能预测系统
人工智能·python·机器学习·数据挖掘·数据分析·毕业设计·课程设计
我要学习别拦我~15 小时前
逻辑回归中的成本损失函数全解析:从数学推导到实际应用
算法·机器学习·逻辑回归
Learn Beyond Limits16 小时前
Initializing K-means|初始化K-means
人工智能·python·算法·机器学习·ai·kmeans·吴恩达
hi0_617 小时前
机器学习第十六章 基于RNN和注意力机制的自然语言处理
rnn·机器学习·自然语言处理
救救孩子把17 小时前
8-机器学习与大模型开发数学教程-第0章 预备知识-0-8 编程与数值计算基础(浮点数精度、溢出、数值稳定性)
人工智能·机器学习