机器学习——XGBoost

XGBoost 是迄今为止最常用的决策树集成或决策树实现方法的一种算法,它运行快速,开源实现容易使用,也被非常成功地用于赢得许多机器学习比赛。

给定一个大小为m的训练集,重复B次,使用有放回抽样创建一个大小为m的新训练集,然后在新的数据集上训练决策树,因此第一次通过这个循环时,我们可能会像这样创建一个训练集,并像这样训练决策树,这里是我们要改变算法的地方,也就是每次通过这个循环,除了第一次,会有第二次、第三次,以此类推,在抽样时,不是以相同的概率选择每个训练样本,而是将以更高的概率选择那些在我们目前构建的树集合中表现较差的样本。但是第二次通过这个循环时,不是从所有m个样本中以相同的概率选择,让我们更有可能选择之前训练的树分类错误的样本或者之前训练的树表现不佳的样本。

我们将更多的注意力放在尚未处理好的例子子集上,并用新的决策树,构建集成 来尝试处理这些问题。具体来说,我们会查看刚刚构建的决策树并回到原始训练集,注意是原始训练集,不是通过某种方式或替换生成的训练集,我们会查看所有的这10个例子,并查看这个学习的决策树对这10个例子的预测,所以第四列是它们的预测结果,在每个例子后边打✅,这取决于树的分类是否正确,所以在第二次循环中,我们会使用有放回的抽样 来重新生成。另一个包含10个例子的训练集,每次从这10个例子中选取一个例子时,更有可能从这三个仍然分类错误 的例子中挑选,所以这会让第二棵决策树通过一种类似可以练习的过程关注这些例子,这种提升过程将总共执行B次。在每次迭代中,你会查看第1棵树的集成结果,以此类推,当你构建第B棵树时,更有可能选择那些之前构建的树集成仍然分类错误的例子,增加选择这个例子而不是那个例子的概率相当,但是不需要担心这些细节来使用提升树的实现。

在各种实现提升的方法中,目前使用最广泛的是XGBoost ,代表极端梯度提升 ,这是一个非常快速且高效的开源提升树实现,XGBoost还提供了默认的分裂标准和停止分裂的标准XGBoost的一项创新是内置了正则化以防止过拟合。XGBoost实际上会为不同的训练样本分配不同的权重,所以它实际上不需要生成大量随机选择的训练集,这就使得它比使用有放回抽样程序更高效一些

相关推荐
yzx9910136 分钟前
图像去雾:从暗通道先验到可学习融合——一份可跑的 PyTorch 教程
人工智能·pytorch·学习
博大世界15 分钟前
解剖智驾“大脑”:一文读懂自动驾驶系统软件架构
人工智能·机器学习·自动驾驶
大熊猫侯佩20 分钟前
苹果 AI 探秘:代号 “AFM” —— “温柔的反叛者”
人工智能·sft·ai 大模型·apple 本地大模型·foundationmodel·苹果智能·applebot
AI Echoes34 分钟前
别再手工缝合API了!开源LLMOps神器LMForge,让你像搭积木一样玩转AI智能体!
人工智能·python·langchain·开源·agent
AI Echoes38 分钟前
从零构建企业级LLMOps平台:LMForge——支持多模型、可视化编排、知识库与安全审核的全栈解决方案
人工智能·python·langchain·开源·agent
Coovally AI模型快速验证38 分钟前
无人机小目标检测新SOTA:MASF-YOLO重磅开源,多模块协同助力精度飞跃
人工智能·yolo·目标检测·机器学习·计算机视觉·无人机
zskj_zhyl44 分钟前
七彩喜智慧养老:科技向善,让“养老”变“享老”的智慧之选
大数据·人工智能·科技·物联网·机器人
微盛企微增长小知识1 小时前
企业微信AI怎么用才高效?3大功能+5个实操场景,实测效率提升50%
人工智能·企业微信
啦啦啦在冲冲冲1 小时前
解释一下roberta,bert-chinese和bert-case有啥区别还有bert-large这些
人工智能·深度学习·bert