第二个弱学习器的预测值由来解释说明

预测值,是第2个弱学习器(CART回归树)的输出结果,我们来一步步拆解它的计算逻辑:


1. 回顾第2个弱学习器的输出

在上一轮构建第2个弱学习器时,我们找到了最优切分点 3.5,并把样本分成了两组:

  • 左子树(x ≤ 3.5) :包含样本1、2、3,对应的第2轮目标值(残差)是 -0.68, -0.54, -0.33。
    子树的输出值是这三个残差的均值 :
    −0.68+(−0.54)+(−0.33)3=−1.553≈−0.52 \frac{-0.68 + (-0.54) + (-0.33)}{3} = \frac{-1.55}{3} \approx -0.52 3−0.68+(−0.54)+(−0.33)=3−1.55≈−0.52
  • 右子树(x > 3.5) :包含样本4到10,对应的第2轮目标值是 0.16, 0.56, 0.81, -0.01, -0.21, 0.09, 0.14。
    子树的输出值是这七个残差的均值 :
    0.16+0.56+0.81−0.01−0.21+0.09+0.147=1.547=0.22 \frac{0.16 + 0.56 + 0.81 - 0.01 - 0.21 + 0.09 + 0.14}{7} = \frac{1.54}{7} = 0.22 70.16+0.56+0.81−0.01−0.21+0.09+0.14=71.54=0.22

2. 对应到第3轮表格里的预测值

第3轮表格里的"预测值",就是第2个弱学习器对每个样本的输出:

  • 样本1、2、3(x ≤ 3.5)→ 左子树输出 -0.52
  • 样本4到10(x > 3.5)→ 右子树输出 0.22

这就是表格里预测值列 -0.52, -0.52, -0.52, 0.22, ..., 0.22 的来源。


3. 为什么用均值?

CART回归树的叶节点输出,是该节点内所有样本目标值的均值。这是因为在平方损失下,均值能让该节点内的平方误差最小,是最优的输出值。


相关推荐
代码山河1 小时前
Python就业方向全解析:后端、爬虫、数据分析、AI你选哪个?
python·学习·架构·教程·面向对象·项目
释厄6232 小时前
AI学习层更新与跨体转移律——人类社会同构·不缺理解缺 U
人工智能·学习
小嘉丶学长6 小时前
Day14 · 字典与集合
java·开发语言·网络·python·学习·1024程序员节
小李不想当小白6 小时前
SPI通信外设与W25Q64 (硬件SPI)(STM32标准库学习笔记)
笔记·stm32·单片机·嵌入式硬件·学习·嵌入式
adinnet202610 小时前
电商客服对话知识库的自学习闭环与质量演进机制
学习
lazy H10 小时前
【计算机网络】第 13 篇:NAT 和端口映射是什么?为什么本地服务外网访问不了?
java·网络·网络协议·学习·计算机网络·408
试剂界的爱马仕11 小时前
α-Cyano-4-hydroxycinnamic acid(CHCA)用作 MALDI-TOF 基质的配制与使用
大数据·人工智能·深度学习·学习
小向是个Der12 小时前
嵌入式进阶——编译与链接
汇编·单片机·学习·编译原理·交叉编译
学网安的肆伍12 小时前
认证机制攻防学习|PortSwigger Authentication 靶场复现总结(二):用户名枚举进阶
学习·web安全·网络安全·burpsuite·portswigger·认证安全·靶场复现
海绵宝宝转agent13 小时前
Leetcode二叉树算法个人理解
笔记·学习·算法·leetcode·深度优先