吴恩达机器学习笔记 二十七 决策树中连续值特征的选择 回归树

还是猫狗分类的案例,假如再增加一个特征weight,该值是一个连续的值,如何在决策树中使用该特征?

如下图所示,尝试不同的阈值 ,如 weight<=9 , 此时左边有四个样本,都为猫,右边有六个样本,其中一个为猫,计算信息增益(绿色的那个)。同理,把条件设为weight<=8,划分后左边有两个样本,全是猫,右边有八个样本,其中三个是猫,计算信息增益(蓝色的那个),可以发现边界设为9时信息增益最大,所以就按照这个标准分。

决策树用于分类问题-->推广到回归问题:回归树

用决策树来预测一个数字而不是类别

用于回归问题时,我们不追求减少熵,而是期望能够降低分类后每个子集 weight 的方差 。如下图,计算不同分类后的左右两支子树的带权重方差和,再用根节点的方差减去这个数,得到方差的减少量,方差减少的越多越好,所以选择 ear shape 作为分割特征。

相关推荐
河铃旅鹿37 分钟前
Android开发-java版:Framgent
android·java·笔记·学习
AA陈超4 小时前
ASC学习笔记0020:用于定义角色或Actor的默认属性值
c++·笔记·学习·ue5·虚幻引擎
王哈哈^_^5 小时前
YOLO11实例分割训练任务——从构建数据集到训练的完整教程
人工智能·深度学习·算法·yolo·目标检测·机器学习·计算机视觉
IMPYLH5 小时前
Lua 的 collectgarbage 函数
开发语言·笔记·junit·单元测试·lua
思成不止于此6 小时前
深入理解 C++ 多态:从概念到实现的完整解析
开发语言·c++·笔记·学习·多态·c++40周年
谅望者7 小时前
数据分析笔记08:Python编程基础-数据类型与变量
数据库·笔记·python·数据分析·概率论
studytosky7 小时前
深度学习理论与实战:Pytorch基础入门
人工智能·pytorch·python·深度学习·机器学习
iiiiii117 小时前
【论文阅读笔记】多实例学习方法 Diverse Density(DD):在特征空间中寻找正概念的坐标
论文阅读·人工智能·笔记·机器学习·ai·学习方法·多实例学习
2501_941147427 小时前
人工智能与大数据:推动未来智能制造的双引擎
决策树
inputA8 小时前
【LwIP源码学习8】netbuf源码分析
android·c语言·笔记·嵌入式硬件·学习