吴恩达机器学习笔记 二十七 决策树中连续值特征的选择 回归树

还是猫狗分类的案例,假如再增加一个特征weight,该值是一个连续的值,如何在决策树中使用该特征?

如下图所示,尝试不同的阈值 ,如 weight<=9 , 此时左边有四个样本,都为猫,右边有六个样本,其中一个为猫,计算信息增益(绿色的那个)。同理,把条件设为weight<=8,划分后左边有两个样本,全是猫,右边有八个样本,其中三个是猫,计算信息增益(蓝色的那个),可以发现边界设为9时信息增益最大,所以就按照这个标准分。

决策树用于分类问题-->推广到回归问题:回归树

用决策树来预测一个数字而不是类别

用于回归问题时,我们不追求减少熵,而是期望能够降低分类后每个子集 weight 的方差 。如下图,计算不同分类后的左右两支子树的带权重方差和,再用根节点的方差减去这个数,得到方差的减少量,方差减少的越多越好,所以选择 ear shape 作为分割特征。

相关推荐
啦啦啦在冲冲冲13 小时前
lora矩阵的初始化为啥B矩阵为0呢,为啥不是A呢
深度学习·机器学习·矩阵
sensen_kiss13 小时前
INT301 Bio-computation 生物计算(神经网络)Pt.8 主成分分析(PCA)与无监督学习
神经网络·学习·线性代数·机器学习
纪伊路上盛名在13 小时前
Alphafold实用指南—官网教程3
数据库·人工智能·机器学习·alphafold·计算生物学·结构生物学
四谎真好看13 小时前
Java 黑马程序员学习笔记(进阶篇28)
java·笔记·学习·学习笔记
Oll Correct14 小时前
Excel基础操作(二)
笔记·excel
拾零吖14 小时前
Attention by 3B1B
人工智能·深度学习·机器学习
hd51cc14 小时前
文档与视图 学习笔记
笔记·学习
钟智强14 小时前
线性映射(Linear Mapping)原理详解:机器学习中的数学基石
人工智能·算法·机器学习
PHOSKEY14 小时前
光子精密QM系列闪测仪如何实现VR注塑外壳大型面平面度的秒级检测
机器学习·计算机视觉
LO嘉嘉VE15 小时前
学习笔记十六:多变量决策树
决策树·机器学习