吴恩达机器学习笔记 二十七 决策树中连续值特征的选择 回归树

还是猫狗分类的案例,假如再增加一个特征weight,该值是一个连续的值,如何在决策树中使用该特征?

如下图所示,尝试不同的阈值 ,如 weight<=9 , 此时左边有四个样本,都为猫,右边有六个样本,其中一个为猫,计算信息增益(绿色的那个)。同理,把条件设为weight<=8,划分后左边有两个样本,全是猫,右边有八个样本,其中三个是猫,计算信息增益(蓝色的那个),可以发现边界设为9时信息增益最大,所以就按照这个标准分。

决策树用于分类问题-->推广到回归问题:回归树

用决策树来预测一个数字而不是类别

用于回归问题时,我们不追求减少熵,而是期望能够降低分类后每个子集 weight 的方差 。如下图,计算不同分类后的左右两支子树的带权重方差和,再用根节点的方差减去这个数,得到方差的减少量,方差减少的越多越好,所以选择 ear shape 作为分割特征。

相关推荐
sensen_kiss18 分钟前
INT305 Coursework2 用卷积神经网络训练CIFAR-10数据集以进行图像识别
人工智能·神经网络·机器学习·cnn
北京地铁1号线18 分钟前
8.2 对比学习的损失函数
算法·机器学习·损失函数·对比学习
V搜xhliang02461 小时前
面部表情识别(基于计算机视觉的文本分类等)的识别原理
人工智能·目标检测·机器学习·计算机视觉·分类·数据挖掘·知识图谱
Vae_Mars2 小时前
华睿MVP:C#脚本的应用一
笔记·c#
_muffinman2 小时前
Java学习笔记-第2章 运算和语句
java·笔记·学习
六元七角八分2 小时前
学习笔记一《JavaScript基础语法》
javascript·笔记·学习
HyperAI超神经2 小时前
基于2.5万临床数据,斯坦福大学发布首个原生3D腹部CT视觉语言模型,Merlin在752类任务中全面领先
人工智能·深度学习·神经网络·机器学习·3d·语言模型·cpu
风酥糖3 小时前
在Termux中运行Siyuan笔记服务
android·linux·服务器·笔记
跃龙客3 小时前
C++写文件笔记
c++·笔记
宵时待雨3 小时前
C++笔记归纳11:多态
开发语言·c++·笔记