吴恩达机器学习笔记 二十七 决策树中连续值特征的选择 回归树

还是猫狗分类的案例,假如再增加一个特征weight,该值是一个连续的值,如何在决策树中使用该特征?

如下图所示,尝试不同的阈值 ,如 weight<=9 , 此时左边有四个样本,都为猫,右边有六个样本,其中一个为猫,计算信息增益(绿色的那个)。同理,把条件设为weight<=8,划分后左边有两个样本,全是猫,右边有八个样本,其中三个是猫,计算信息增益(蓝色的那个),可以发现边界设为9时信息增益最大,所以就按照这个标准分。

决策树用于分类问题-->推广到回归问题:回归树

用决策树来预测一个数字而不是类别

用于回归问题时,我们不追求减少熵,而是期望能够降低分类后每个子集 weight 的方差 。如下图,计算不同分类后的左右两支子树的带权重方差和,再用根节点的方差减去这个数,得到方差的减少量,方差减少的越多越好,所以选择 ear shape 作为分割特征。

相关推荐
乾元1 分钟前
模型提取:黑盒环境下如何窃取对手的 AI 模型参数
网络·人工智能·安全·web安全·机器学习·架构·系统架构
远离UE421 分钟前
快速傅里叶变换学习笔记(FFT)
笔记·学习
火红色祥云23 分钟前
Python机器学习经典实例_笔记
笔记·python·机器学习
FakeOccupational10 小时前
【电路笔记 通信】数字混频(采样做频谱搬移)+频率混叠(aliasing)公式证明+带通采样示例
笔记
眼镜哥(with glasses)13 小时前
Ollama 在 Windows 系统下修改安装路径和模型存储路径的官方指引——【大模型】01-27笔记
笔记
爱学java的ptt14 小时前
场景题:设计排行榜
笔记·面试
じ☆冷颜〃14 小时前
随机微分层论:统一代数、拓扑与分析框架下的SPDE论述
笔记·python·学习·线性代数·拓扑学
Zzz 小生14 小时前
LangChain models:模型使用完全指南
人工智能·深度学习·机器学习
智者知已应修善业16 小时前
【PAT乙级真题解惑1012数字分类】2025-3-29
c语言·c++·经验分享·笔记·算法
前路不黑暗@16 小时前
Java项目:Java脚手架项目的地图服务(十)
java·数据库·spring boot·笔记·学习·spring cloud·maven