机器学习知识点总结:什么是GBDT(梯度提升树)

什么是GBDT(梯度提升树)

虽然GBDT同样由许多决策树组成,但它与随机森林由许多不同。

其中之一是GBDT中的树都是回归树,树有分类有回归,区分它们的方法很简单。将苹果单纯分为好与坏的是分类树,如果能为苹果的好坏程度打个分,那它就是回归树。

另一个不同的是GBDT中的每棵树都建立在前一棵树的基础上。

以苹果打分为例,我们会先训练一棵树大体预测一下苹果们的分数,再去训练一棵树去预测它们与真实分数间的差距,如果两者相加仍与真实分数存在差距,我们再训练第三棵树预测这部分差距,重复这个过程不断减少误差,将这些树的预测值加起来,就是苹果的分数。

除了苹果,被评分的还可以是网页、电影、商品。通过预测关联程度、点击率或是用户的喜好程度来排序,GBDT在搜索、广告、推荐系统等领域有着广泛应用,能处理标签、数值等各类数据,解释性强,这些都是GBDT的优点。

不过由于树与树之间的相互依赖,需要较长的训练时间。运用多个模型共同解决问题,GBDT自然属于集成学习。

像这种一个模型依赖于上一个模型,共同逼近正确答案的方法被称为Boosting提升,也就是GBDT中的B。

与随机森林类似,模型间相互独立共同投票出结果的方法,则被称为Bagging(装袋)。

还有一种Stacking(堆叠),是在一多个模型的基础上放置一个更高层的模型。将底层模型的输出作为它的输入,由它给出最终的预测结果。

相关推荐
fantasy_45 分钟前
LLM-大语言模型浅谈
人工智能·ai·语言模型·deep learning
嘻嘻哈哈开森11 分钟前
从零开始学习模型蒸馏
人工智能·后端
Thomas_Cai13 分钟前
Bert论文解析
人工智能·深度学习·nlp·bert·transformer
量子位32 分钟前
Llama 4 发布 36 小时差评如潮!匿名员工爆料拒绝署名技术报告
人工智能·llama
HCZJNB38 分钟前
泓川证券|外骨骼机器人落地场景丰富 市场空间广阔
人工智能·机器人
量子位1 小时前
LIama 4 发布重夺开源第一!DeepSeek 同等代码能力但参数减一半,一张 H100 就能跑,还有两万亿参数超大杯
人工智能·deepseek
量子位1 小时前
米哈游蔡浩宇新作 iPhone 实机演示:10 分钟就被 AI 小美撩到脸红,她的命运由我拯救
人工智能·aigc
蚝油菜花1 小时前
清华联合DeepSeek推出奖励模型新标杆!DeepSeek-GRM:让AI学会自我批评,推理性能越跑越强
人工智能·开源
Yan-英杰1 小时前
【百日精通JAVA | SQL篇 | 第四篇】约束
java·服务器·开发语言·数据库·人工智能·sql·mysql
掘金安东尼1 小时前
记录 Chatgpt 辅助离线配置环境,我就像是个小丑🤡🤡🤡
人工智能·程序员·llm