机器学习:决策树之回归树的原理

目录

前言

一、回归树样例

二、回归树原理

三、原理实现步骤

1.选择特征和分裂点

2.递归分裂

3.生成叶子节点

四、进行预测

总结


前言

决策树回归(Decision Tree Regression)是一种用于预测连续目标变量的回归模型。与分类决策树类似,回归树通过一系列的决策规则对数据进行分割,以最小化预测误差。

一、回归树样例

二、回归树原理

  1. 选择特征和分裂点:在每个节点上,选择一个特征和一个分裂点,将数据集分成两个子集,以最小化某种度量(如均方误差)。
  2. 递归分裂:对每个子集递归地应用相同的分裂规则,直到满足停止条件(如达到最大深度或每个叶子节点包含的样本数过少)。
  3. 生成叶子节点:每个叶子节点输出该节点中样本的平均值作为预测结果。

三、原理实现步骤

1.选择特征和分裂点

  • 先选定一个特征
  • 再选定该特征进行切分
  • 计算选择每个分裂点造成的损失
  • 切分点左边为一部分,右边为一部分
  • 计算两个部分y的方差,再相加得到损失
  • 比较每个切分点的损失,损失最小的即选为根节点

2.递归分裂

  • 对第一个切分点切出来的两个部分,分别再次执行第一步的操作
  • 在两个部分里分别计算每个切分点的损失,找出最少的,当做中间节点

3.生成叶子节点

  • 根据我们选择的深度,判断分裂几次
  • 每个叶子节点的数字都是该节点y的平均值

四、进行预测

  • 只要特征数据在某个范围内,那么得到的预测值都是同一个值

例如:输入的x值为[4,5,6],那么预测值均为6.75

总结

决策树里的参数里树的深度和每个叶子节点的样本数量是两个很重要的参数,调试好这两个参数,能有效地防止决策树过拟合

相关推荐
Yawesh_best38 分钟前
思源笔记轻松连接本地Ollama大语言模型,开启AI写作新体验!
笔记·语言模型·ai写作
CXDNW2 小时前
【网络面试篇】HTTP(2)(笔记)——http、https、http1.1、http2.0
网络·笔记·http·面试·https·http2.0
使者大牙2 小时前
【大语言模型学习笔记】第一篇:LLM大规模语言模型介绍
笔记·学习·语言模型
ssf-yasuo2 小时前
SPIRE: Semantic Prompt-Driven Image Restoration 论文阅读笔记
论文阅读·笔记·prompt
ajsbxi3 小时前
苍穹外卖学习记录
java·笔记·后端·学习·nginx·spring·servlet
TeYiToKu3 小时前
笔记整理—linux驱动开发部分(9)framebuffer驱动框架
linux·c语言·arm开发·驱动开发·笔记·嵌入式硬件·arm
dsywws3 小时前
Linux学习笔记之时间日期和查找和解压缩指令
linux·笔记·学习
cuisidong19975 小时前
5G学习笔记三之物理层、数据链路层、RRC层协议
笔记·学习·5g
乌恩大侠5 小时前
5G周边知识笔记
笔记·5g
咔叽布吉6 小时前
【论文阅读笔记】CamoFormer: Masked Separable Attention for Camouflaged Object Detection
论文阅读·笔记·目标检测