第二个弱学习器的预测值由来解释说明

预测值,是第2个弱学习器(CART回归树)的输出结果,我们来一步步拆解它的计算逻辑:


1. 回顾第2个弱学习器的输出

在上一轮构建第2个弱学习器时,我们找到了最优切分点 3.5,并把样本分成了两组:

  • 左子树(x ≤ 3.5) :包含样本1、2、3,对应的第2轮目标值(残差)是 -0.68, -0.54, -0.33
    子树的输出值是这三个残差的均值
    −0.68+(−0.54)+(−0.33)3=−1.553≈−0.52 \frac{-0.68 + (-0.54) + (-0.33)}{3} = \frac{-1.55}{3} \approx -0.52 3−0.68+(−0.54)+(−0.33)=3−1.55≈−0.52
  • 右子树(x > 3.5) :包含样本4到10,对应的第2轮目标值是 0.16, 0.56, 0.81, -0.01, -0.21, 0.09, 0.14
    子树的输出值是这七个残差的均值
    0.16+0.56+0.81−0.01−0.21+0.09+0.147=1.547=0.22 \frac{0.16 + 0.56 + 0.81 - 0.01 - 0.21 + 0.09 + 0.14}{7} = \frac{1.54}{7} = 0.22 70.16+0.56+0.81−0.01−0.21+0.09+0.14=71.54=0.22

2. 对应到第3轮表格里的预测值

第3轮表格里的"预测值",就是第2个弱学习器对每个样本的输出:

  • 样本1、2、3(x ≤ 3.5)→ 左子树输出 -0.52
  • 样本4到10(x > 3.5)→ 右子树输出 0.22

这就是表格里预测值列 -0.52, -0.52, -0.52, 0.22, ..., 0.22 的来源。


3. 为什么用均值?

CART回归树的叶节点输出,是该节点内所有样本目标值的均值。这是因为在平方损失下,均值能让该节点内的平方误差最小,是最优的输出值。


相关推荐
常驻客栈30 分钟前
B-深入理解计算机系统第3版之第8章:异常控制流
笔记·学习·常驻客栈·深入理解计算机系统·学习笔记‘’
lzhdim42 分钟前
13、JavaScript事件循环机制 - JavaScript学习系列文章
开发语言·前端·javascript·学习·ecmascript
小杨不想秃头1 小时前
信息安全工程师考试
学习·网络安全
喜欢吃豆1 小时前
otes on LLMs 更新:一份更系统的大模型工程学习手册
学习·大模型·agent
AOwhisky1 小时前
Linux 网络服务架设学习笔记(第五期)——Web 服务(上篇):Apache HTTP Server——从静态到动态
linux·运维·服务器·笔记·学习·云计算·apache
绘梨衣5472 小时前
异步任务队列-学习2
爬虫·python·学习·任务队列
喜欢吃燃面3 小时前
HTTP协议深度解析:从请求响应到状态管理与安全传输
linux·网络协议·学习
我命由我123453 小时前
财务学习 - 权责发生制(应收应付制)
学习·职场和发展·产品运营·求职招聘·职场发展·产品经理·学习方法
MartinYeung54 小时前
[论文学习]小型代码语言模型中的潜伏代理行为研究
学习·语言模型·php
MartinYeung54 小时前
[论文学习]MPIB:医疗提示注入基准——针对LLM临床安全性的系统性评估
人工智能·python·学习