机器学习知识点总结:什么是GBDT(梯度提升树)

什么是GBDT(梯度提升树)

虽然GBDT同样由许多决策树组成,但它与随机森林由许多不同。

其中之一是GBDT中的树都是回归树,树有分类有回归,区分它们的方法很简单。将苹果单纯分为好与坏的是分类树,如果能为苹果的好坏程度打个分,那它就是回归树。

另一个不同的是GBDT中的每棵树都建立在前一棵树的基础上。

以苹果打分为例,我们会先训练一棵树大体预测一下苹果们的分数,再去训练一棵树去预测它们与真实分数间的差距,如果两者相加仍与真实分数存在差距,我们再训练第三棵树预测这部分差距,重复这个过程不断减少误差,将这些树的预测值加起来,就是苹果的分数。

除了苹果,被评分的还可以是网页、电影、商品。通过预测关联程度、点击率或是用户的喜好程度来排序,GBDT在搜索、广告、推荐系统等领域有着广泛应用,能处理标签、数值等各类数据,解释性强,这些都是GBDT的优点。

不过由于树与树之间的相互依赖,需要较长的训练时间。运用多个模型共同解决问题,GBDT自然属于集成学习。

像这种一个模型依赖于上一个模型,共同逼近正确答案的方法被称为Boosting提升,也就是GBDT中的B。

与随机森林类似,模型间相互独立共同投票出结果的方法,则被称为Bagging(装袋)。

还有一种Stacking(堆叠),是在一多个模型的基础上放置一个更高层的模型。将底层模型的输出作为它的输入,由它给出最终的预测结果。

相关推荐
九亿AI算法优化工作室&16 分钟前
结合大语言模型的机械臂抓取操作学习
人工智能·学习·语言模型·自然语言处理
kaamelai16 分钟前
Kaamel视角下的MCP安全最佳实践
大数据·人工智能·安全
我要学脑机20 分钟前
基于常微分方程的神经网络(Neural ODE)
人工智能·深度学习·神经网络
有颜有货31 分钟前
2025汽车制造企业数字化转型路径参考
人工智能·汽车·制造·数字化转型
阿星AI工作室34 分钟前
小白也能用AI开发「小红书自动归档多维表格」采集神器,躺平整理笔记真香
人工智能
云天徽上35 分钟前
【数据可视化-42】杂货库存数据集可视化分析
人工智能·机器学习·信息可视化·数据挖掘·数据分析
大模型真好玩38 分钟前
初学者必看大模型微调指南:Unsloth官方微调技巧大公开!
人工智能·python
自由随风飘1 小时前
机器学习第三篇 模型评估(交叉验证)
人工智能·机器学习
vocal1 小时前
谷歌第七版Prompt Engineering—第三部分
人工智能·后端
ConardLi1 小时前
要给大家泼盆冷水了,使用 MCP 绝对不容忽视的一个问题!
前端·人工智能·后端