机器学习——XGBoost

XGBoost 是迄今为止最常用的决策树集成或决策树实现方法的一种算法,它运行快速,开源实现容易使用,也被非常成功地用于赢得许多机器学习比赛。

给定一个大小为m的训练集,重复B次,使用有放回抽样创建一个大小为m的新训练集,然后在新的数据集上训练决策树,因此第一次通过这个循环时,我们可能会像这样创建一个训练集,并像这样训练决策树,这里是我们要改变算法的地方,也就是每次通过这个循环,除了第一次,会有第二次、第三次,以此类推,在抽样时,不是以相同的概率选择每个训练样本,而是将以更高的概率选择那些在我们目前构建的树集合中表现较差的样本。但是第二次通过这个循环时,不是从所有m个样本中以相同的概率选择,让我们更有可能选择之前训练的树分类错误的样本或者之前训练的树表现不佳的样本。

我们将更多的注意力放在尚未处理好的例子子集上,并用新的决策树,构建集成 来尝试处理这些问题。具体来说,我们会查看刚刚构建的决策树并回到原始训练集,注意是原始训练集,不是通过某种方式或替换生成的训练集,我们会查看所有的这10个例子,并查看这个学习的决策树对这10个例子的预测,所以第四列是它们的预测结果,在每个例子后边打✅,这取决于树的分类是否正确,所以在第二次循环中,我们会使用有放回的抽样 来重新生成。另一个包含10个例子的训练集,每次从这10个例子中选取一个例子时,更有可能从这三个仍然分类错误 的例子中挑选,所以这会让第二棵决策树通过一种类似可以练习的过程关注这些例子,这种提升过程将总共执行B次。在每次迭代中,你会查看第1棵树的集成结果,以此类推,当你构建第B棵树时,更有可能选择那些之前构建的树集成仍然分类错误的例子,增加选择这个例子而不是那个例子的概率相当,但是不需要担心这些细节来使用提升树的实现。

在各种实现提升的方法中,目前使用最广泛的是XGBoost ,代表极端梯度提升 ,这是一个非常快速且高效的开源提升树实现,XGBoost还提供了默认的分裂标准和停止分裂的标准XGBoost的一项创新是内置了正则化以防止过拟合。XGBoost实际上会为不同的训练样本分配不同的权重,所以它实际上不需要生成大量随机选择的训练集,这就使得它比使用有放回抽样程序更高效一些

相关推荐
汀丶人工智能2 分钟前
AI Compass前沿速览:Qwen3-Max、Mixboard、Qwen3-VL、Audio2Face、Vidu Q2 AI视频生成模型、Qwen3-Liv
人工智能
唐天下文化3 分钟前
展厅迎宾机器人:豹小秘2如何打造科技第一印象
人工智能·科技·机器人
qiu_zhongya30 分钟前
iree 用C++来运行Qwen 2.5 0.5b
开发语言·c++·人工智能
拾贰_C36 分钟前
【anaconda】anaconda安装配置,git安装配置以及pytorch安装
人工智能·pytorch·git
荼蘼43 分钟前
Dlib+OpenCV 人脸轮廓绘制
人工智能·opencv·计算机视觉
九河云1 小时前
物流仓储自动化升级:物道供应链 AGV 机器人实现分拣效率提升 60%
人工智能·科技·物联网·机器人·自动化
正点原子1 小时前
正点原子 x STM32:智能加速边缘AI应用开发!
人工智能·stm32·嵌入式硬件
金井PRATHAMA1 小时前
GraphRAG(知识图谱结合大模型)对人工智能中自然语言处理的深层语义分析的影响与启示
人工智能·自然语言处理·知识图谱
CCSBRIDGE1 小时前
Browser-Use 的实现原理
人工智能
愚公搬代码1 小时前
【愚公系列】《人工智能70年》044-数据科学崛起(安全与隐私,硬币的另一面)
人工智能·安全