吴恩达机器学习笔记 二十七 决策树中连续值特征的选择 回归树

还是猫狗分类的案例,假如再增加一个特征weight,该值是一个连续的值,如何在决策树中使用该特征?

如下图所示,尝试不同的阈值 ,如 weight<=9 , 此时左边有四个样本,都为猫,右边有六个样本,其中一个为猫,计算信息增益(绿色的那个)。同理,把条件设为weight<=8,划分后左边有两个样本,全是猫,右边有八个样本,其中三个是猫,计算信息增益(蓝色的那个),可以发现边界设为9时信息增益最大,所以就按照这个标准分。

决策树用于分类问题-->推广到回归问题:回归树

用决策树来预测一个数字而不是类别

用于回归问题时,我们不追求减少熵,而是期望能够降低分类后每个子集 weight 的方差 。如下图,计算不同分类后的左右两支子树的带权重方差和,再用根节点的方差减去这个数,得到方差的减少量,方差减少的越多越好,所以选择 ear shape 作为分割特征。

相关推荐
推送者6 小时前
用宠物照片制作桌宠:从AI拆帧到九点标定的本地化实现笔记
笔记·宠物·用宠物照片制作桌宠
一条破秋裤6 小时前
16_TIM编码器接口测速
笔记·stm32·学习
tju新生代魔迷6 小时前
Verilog HDL 学习笔记(十)| 第10章 时序和延迟
笔记·学习·fpga开发
血小板要健康8 小时前
链表 阶段算法总结
java·数据结构·笔记·算法·leetcode·链表
浔溺8 小时前
al+大数据每日学习笔记31
大数据·笔记·学习
摇滚侠8 小时前
《SpringBoot 3:入门与应用实战》第 9 章 跨域问题 阅读笔记 27
spring boot·笔记·okhttp
山岚的运维笔记8 小时前
mysql 专业笔记 -- 第 8 章:使用变量
运维·数据库·笔记·后端·学习·mysql·dba
噜~噜~噜~9 小时前
操作系统笔记-2.3.6 管程
笔记·操作系统
2601_962077989 小时前
利用Python,四步掌握机器学习
python·机器学习·数据挖掘·数据分析·编程
小雨笙笙10 小时前
机器学习:线性回归学习
学习·机器学习·线性回归