Day22_【机器学习—集成学习(4)—Boosting—GBDT算法】

提升树 (Boosting Decision Tree )

每一个弱学习器通过拟合残差来构建强学习器

梯度提升树 (Gradient Boosting Decision Tree)

每一个弱学习器通过拟合负梯度来构建强学习器

一、提升树

残差

数学公式为:

残差=真实值−预测值

其中:

  • ri:第 i 个样本的残差
  • yi:第 i 个样本的真实值(观测值)
  • y^i:模型对第 i 个样本的预测值

二、GBDT

GBDT(梯度提升树)不再拟合残差,而是利用梯度下降的近似方法,利用损失函数的负梯度作为提升树算法中的残差近似值。

负梯度

负梯度=残差=真实值-预测值

流程

1 初始化弱学习器(目标值的均值作为预测值)

2 迭代构建学习器,每一个学习器拟合上一个学习器的负梯度

3 直到达到指定的学习器个数

4 当输入未知样本时,将所有弱学习器的输出结果组合起来作为强学习器的输出

详细过程

相关推荐
高洁0113 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
在所不辞兄14 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
Oiiouui17 小时前
原始CNN识别与训练模型实现
神经网络·机器学习·cnn
罗西的思考19 小时前
【轻量化复现大模型 / KIMI K3】训练模块梳理 & Muon P2P 优化器
人工智能·深度学习·机器学习
伞伞悦读21 小时前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
塑料铲子2 天前
你的 Skill 越多越蠢?Token 上下文爆炸的求生指南
机器学习·agent
TsingtaoAI2 天前
VeyForge:构建具身智能的AI 3D资产与Sim-to-Real数据引擎
人工智能·机器学习
罗西的思考4 天前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习
Asher11254 天前
电池数据整理复盘:从 MAT 文件到充电曲线
机器学习