机器学习(二十三):决策树和决策树学习过程

一、决策树

下面是数据集,输入特征是耳朵形状、脸形状、是否有胡子,输出结果是是否为猫

下图是决策树,根据耳朵形状、脸形状、是否有胡子这几个特征,建立决策树,从根节点一步步预测结果。

上图中,每一个椭圆形和矩形是树的节点。最顶上的节点是树的根节点。除了最底下一层的节点外,其余节点(椭圆形)为决策节点。最底下一层的节点为叶节点。

  • 决策节点:看到一个特定的特征,然后根据特征的值决定是向左还是向右下树
  • 叶节点:做出预测

也可以建立不同类型的决策树:

二、决策树学习过程

第一步:决定根节点使用什么特征

第二步:决定下一节点等节点使用什么特征

2.1 选择什么特征来分裂节点?

根据最大化纯度原则选择特征

例子:以预测输入是否为猫为例,需要挑选什么样的特征,使得按特征分类的子集里尽可能都是猫或者都不是猫。

如果以猫的DNA为特征,分裂节点,那么分裂出来的两个子集分别全为猫,全不为猫。这样的特征就满足最大化纯度。

如果以耳朵形状分,尖耳朵子集里大多数是猫,下垂耳朵子集里大多数不是猫。选取这样的特征也是不错的。

2.2 什么时候停止分裂?

1、当一个节点上全部是一个种类时,停止分裂。

2、当继续分裂,会超过树的最大深度时,停止分裂,这样可以确保树不会太大,使它不会过拟合。树的深度定义如下:

3、当纯度提高率低于阈值时,停止分裂。如果此时继续增加节点,取得的收益很小,有可能导致过拟合。

4、当子集的数据量低于阈值时,停止分裂。

学习来源:吴恩达机器学习,15.1-15.2节

相关推荐
十有八七几秒前
手搓 Agent(一):先有大脑——大模型只会做一件事
前端·人工智能·后端
锋行天下3 分钟前
「踩坑实录」给 LangGraph Agent 接两个 FastMCP,我被 langchain 偷偷改了工具名
前端·人工智能·后端
阿里云大数据AI技术5 分钟前
穹彻智能 × MaxCompute:具身智能 UMI 数据产线的全模态计算实践
人工智能
联犀9 分钟前
ai时代复杂项目的golang项目如何更好的与ai共舞:monorepo+gozero
开发语言·人工智能·golang
飞Link25 分钟前
灵巧手是什么?从机械结构、驱动方式到控制原理,认识机器人的精细操作能力
人工智能·python·机器人
阿里云大数据AI技术34 分钟前
从“扫文件”到“找数据行”:EMR Serverless StarRocks 支持 Paimon Global Index
人工智能
武子康1 小时前
AI通关了,游戏就算通过测试了吗?
人工智能·游戏·机器学习
Seiran1 小时前
CPU 突然打满,罪魁祸首是条用了三年的正则
人工智能
mechanical_expert1 小时前
以SILVERTHIN SC047CP0为例计算等截面薄壁轴承摩擦损耗和启动扭矩
人工智能·机器人
狒狒AI1 小时前
Plannotator 机制拆解:行级批注如何变成 Agent 能照着核的 prompt
人工智能