吴恩达机器学习笔记 二十七 决策树中连续值特征的选择 回归树

还是猫狗分类的案例,假如再增加一个特征weight,该值是一个连续的值,如何在决策树中使用该特征?

如下图所示,尝试不同的阈值 ,如 weight<=9 , 此时左边有四个样本,都为猫,右边有六个样本,其中一个为猫,计算信息增益(绿色的那个)。同理,把条件设为weight<=8,划分后左边有两个样本,全是猫,右边有八个样本,其中三个是猫,计算信息增益(蓝色的那个),可以发现边界设为9时信息增益最大,所以就按照这个标准分。

决策树用于分类问题-->推广到回归问题:回归树

用决策树来预测一个数字而不是类别

用于回归问题时,我们不追求减少熵,而是期望能够降低分类后每个子集 weight 的方差 。如下图,计算不同分类后的左右两支子树的带权重方差和,再用根节点的方差减去这个数,得到方差的减少量,方差减少的越多越好,所以选择 ear shape 作为分割特征。

相关推荐
hd51cc23 分钟前
动态链接编程 学习笔记
笔记·学习
小此方43 分钟前
笔记:树。
数据结构·笔记
后端小张1 小时前
【AI 解析】Gemini 3 全面解析:从认知到落地
人工智能·机器学习·ai·语言模型·chatgpt·imagen·gemini
小马爱打代码1 小时前
Consul:系统学习笔记
笔记·学习·consul
AI大模型学徒2 小时前
NLP基础(八)_马尔可夫模型
算法·机器学习·自然语言处理·nlp·概率论·马尔可夫模型
LastWhisperw2 小时前
简历填写Agent开发笔记
笔记
limenga1022 小时前
奇异值分解(SVD):深度理解神经网络的内在结构
人工智能·深度学习·神经网络·机器学习
秋邱2 小时前
【机器学习】深入解析线性回归模型
人工智能·机器学习·线性回归
●VON3 小时前
人工智能、机器学习与深度学习:从概念到实践
人工智能·深度学习·机器学习
学习中的数据喵3 小时前
机器学习之逻辑回归
人工智能·机器学习·逻辑回归