吴恩达机器学习笔记 二十七 决策树中连续值特征的选择 回归树

还是猫狗分类的案例,假如再增加一个特征weight,该值是一个连续的值,如何在决策树中使用该特征?

如下图所示,尝试不同的阈值 ,如 weight<=9 , 此时左边有四个样本,都为猫,右边有六个样本,其中一个为猫,计算信息增益(绿色的那个)。同理,把条件设为weight<=8,划分后左边有两个样本,全是猫,右边有八个样本,其中三个是猫,计算信息增益(蓝色的那个),可以发现边界设为9时信息增益最大,所以就按照这个标准分。

决策树用于分类问题-->推广到回归问题:回归树

用决策树来预测一个数字而不是类别

用于回归问题时,我们不追求减少熵,而是期望能够降低分类后每个子集 weight 的方差 。如下图,计算不同分类后的左右两支子树的带权重方差和,再用根节点的方差减去这个数,得到方差的减少量,方差减少的越多越好,所以选择 ear shape 作为分割特征。

相关推荐
呱呱巨基5 小时前
Linux 进程概念
linux·c++·笔记·学习
老王熬夜敲代码6 小时前
C++中的atomic
开发语言·c++·笔记·面试
Rousson7 小时前
硬件学习笔记--91 TMR型互感器介绍
笔记·学习
Ingsuifon7 小时前
yolov5模型迁移笔记
笔记·yolo
Slaughter信仰8 小时前
图解大模型_生成式AI原理与实战学习笔记前四张问答(7题)
人工智能·笔记·学习
2401_834517079 小时前
AD学习笔记-26 Active Routing
笔记·学习
断剑zou天涯9 小时前
【算法笔记】Manacher算法
java·笔记·算法
菜鸟‍9 小时前
【论文学习】通过编辑习得分数函数实现扩散模型中的图像隐藏
人工智能·学习·机器学习
月亮月亮要去太阳10 小时前
基于机器学习的糖尿病预测
人工智能·机器学习
瑶光守护者10 小时前
【学习笔记】5G RedCap:智能回落5G NR驻留的接入策略
笔记·学习·5g