大数据-276 Spark MLib - 基础介绍 机器学习算法 Bagging和Boosting区别 GBDT梯度提升树

点一下关注吧!!!非常感谢!!持续更新!!!

大模型篇章已经开始!

  • 目前已经更新到了第 22 篇:大语言模型 22 - MCP 自动操作 Figma+Cursor 自动设计原型

Java篇开始了!

  • MyBatis 更新完毕
  • 目前开始更新 Spring,一起深入浅出!

目前已经更新到了:

  • Hadoop(已更完)
  • HDFS(已更完)
  • MapReduce(已更完)
  • Hive(已更完)
  • Flume(已更完)
  • Sqoop(已更完)
  • Zookeeper(已更完)
  • HBase(已更完)
  • Redis (已更完)
  • Kafka(已更完)
  • Spark(已更完)
  • Flink(已更完)
  • ClickHouse(已更完)
  • Kudu(已更完)
  • Druid(已更完)
  • Kylin(已更完)
  • Elasticsearch(已更完)
  • DataX(已更完)
  • Tez(已更完)
  • 数据挖掘(已更完)
  • Prometheus(已更完)
  • Grafana(已更完)
  • 离线数仓(已更完)
  • 实时数仓(正在更新...)
  • Spark MLib (正在更新...)

Bagging和Boosting区别

数据方面

● Bagging:对数据进行采样训练

● Boosting:根据前一轮学习结果调整数据的重要性

投票方面

● Bagging:所有学习器平权投票

● Boosting:对学习器进行加权投票

学习顺序

● Bagging:学习是并行的,每个学习器没有依赖关系

● Boosting:学习是串行的,学习有先后顺序

主要作用

● Bagging:主要用于提高泛化性能,解决过拟合

● Boosting:主要用于提高训练精度,解决欠拟合

GBDT

基本介绍

GBDT的全称是:Gradient Boosting Decision Tree,梯度提升树,在传统机器学习算法中,GBDT算的上是TOP3的算法。

Decision Tree

无论是处理回归问题还是二分类还是多分类问题,GBDT使用的决策树统统都是CART回归树。

对于回归树算法来说最重要的是寻找最佳的划分点,那么回归树中可划分点包含了所有的特征的所有可取的值。

在分类树中最佳划分点的判断标准是熵或者基尼系数,都是纯度来衡量的,但是在回归树中的样本标签华四连续数值,所以再使用熵之类的指标不再合适,取而代之的是平方误差,他能很好的评判拟合程度。

回归决策树

不管是回归决策树还是分类决策树,都会存在两个问题:

● 如何选择划分点?

● 如何决定叶节点的输出值?

一个回归树对应输入空间(即特征空间)的一个划分以及在划分单元上的输出值。分类决策树中,采用的信息论中的方法信息增益以及信息增益率,通过计算选择最佳划分点。

在回归树中,采用的是启发式的方法,假设数据集有 n 个特征:

假设将输入空间划分为M个单元,R1、R2...Rm,那么每个区域的输出值就是:cm = avg(yi | xi ∈ Rm) 也就是该区域内所有点y值的平均数

举例:

如下图,加入要对楼内居民的年龄进行回归,将楼划分为3个区域R1,R2,R3,那么R1的输出就是第一列居民年龄的平均值,R2输出的就是第二列居民年龄的平均值,R3的输出就是第三、四列八个居民年龄的平均值

算法流程

输入:训练数据集D

输出:回归树 f(x)

在训练数据集所在的输入空间中,递归的将每个区域划分为两个子区域并决定每个子区域上的输出值,构建二叉决策树:

1.选择最优切分特征j与切分点s,求解:

遍历特征j对固定的切分特征j扫描切分点s,选择使得上式达到最小值的对(j,s)

2.用选定的对(j,s)划分区域并决定相应的输出值:

3.继续对两个子区域调用步骤(1)和(2),直到满足停止条件。

4.将输入空间划分M个区域 R1,R2...Rm,生成决策树:

测试案例

通过一个实例加深对回归决策树的理解

训练数据

训练数据见下表

计算过程

选择最优的切分特征j与最优切分点s:

● 确定第一个问题:选择最优切分特征:在本数据集中,只有一个特征,因此最优切分特征自然是X

● 确定第二个问题:我们考虑9个切分点[1.5,2.5,3.5,4.5,5.5,6.5,7.5,8.5,9.5]:损失函数定义平方损失函数 Loss(y,f(x))= (f(x) - y) -y)^2,将上述9个切分点依次带入下面的公式 cm=avg(yi | xi ∈ Rm)

计算子区域的输出值:

例如:取 s = 1.5,此时 R1 = {1}, R2 = {2,3,4,5,6,7,8,9,10},这两个区域的输出值分别为:

● c1 = 5.56

● c2 = (省略...) = 7.50

同理,可以得到其他各切分点的子区域输出值,如下表所示:

计算损失函数值,找到最优切分点:

把c1,c2的值代入到同平方损失函数 Loss(y, f(x)) = (f(x)- y) ^ 2

当 s = 1.5 时

同理,计算得到其他各切分点的损失函数值,可获得下表:

显然取 s = 6.5 时,m(s)最小,因此,第一个划分变量【j=x, s=6.5】

用选定的 (j, s) 划分区域,并决定输出值:

● 两个区域分别是 R1={1,2,3,4,5,6}, R2={7,8,9,10}

● 输出值 cm = avg(yi | xi ∈ Rm),c1 = 6, c2 = 8.91

调用步骤(1)、(2),继续划分,对R1继续划分:

取切分点[1.5,2.5,3.5,4.5,5.5],则各区域的输出值c如下表:

计算损失函数m(s):

s=3.5,m(s)最小。

生成回归树:

假设在生成3个区域之后停止划分,那么最终生成的回归树形式如下:

相关推荐
爆改模型1 分钟前
【arXiv2025】计算机视觉|即插即用|LBMamba:革新视觉模型效率,性能炸裂
人工智能·计算机视觉
醇醛酸醚酮酯12 分钟前
std::promise和std::future的使用示例——单线程多链接、多线程单链接
网络·c++·算法
2301_14725836913 分钟前
7月1日作业
java·前端·算法
爱思德学术1 小时前
中国计算机学会(CCF)推荐学术会议-B(交叉/综合/新兴):BIBM 2025
算法
冰糖猕猴桃1 小时前
【Python】进阶 - 数据结构与算法
开发语言·数据结构·python·算法·时间复杂度、空间复杂度·树、二叉树·堆、图
巴里巴气1 小时前
安装GPU版本的Pytorch
人工智能·pytorch·python
lifallen1 小时前
Paimon vs. HBase:全链路开销对比
java·大数据·数据结构·数据库·算法·flink·hbase
爱吃面的猫1 小时前
大数据Hadoop之——Hbase下载安装部署
大数据·hadoop·hbase
viperrrrrrrrrr71 小时前
大数据(1)-hdfs&hbase
大数据·hdfs·hbase
「、皓子~1 小时前
后台管理系统的诞生 - 利用AI 1天完成整个后台管理系统的微服务后端+前端
前端·人工智能·微服务·小程序·go·ai编程·ai写作