机器学习(二十三):决策树和决策树学习过程

一、决策树

下面是数据集,输入特征是耳朵形状、脸形状、是否有胡子,输出结果是是否为猫

下图是决策树,根据耳朵形状、脸形状、是否有胡子这几个特征,建立决策树,从根节点一步步预测结果。

上图中,每一个椭圆形和矩形是树的节点。最顶上的节点是树的根节点。除了最底下一层的节点外,其余节点(椭圆形)为决策节点。最底下一层的节点为叶节点。

  • 决策节点:看到一个特定的特征,然后根据特征的值决定是向左还是向右下树
  • 叶节点:做出预测

也可以建立不同类型的决策树:

二、决策树学习过程

第一步:决定根节点使用什么特征

第二步:决定下一节点等节点使用什么特征

2.1 选择什么特征来分裂节点?

根据最大化纯度原则选择特征

例子:以预测输入是否为猫为例,需要挑选什么样的特征,使得按特征分类的子集里尽可能都是猫或者都不是猫。

如果以猫的DNA为特征,分裂节点,那么分裂出来的两个子集分别全为猫,全不为猫。这样的特征就满足最大化纯度。

如果以耳朵形状分,尖耳朵子集里大多数是猫,下垂耳朵子集里大多数不是猫。选取这样的特征也是不错的。

2.2 什么时候停止分裂?

1、当一个节点上全部是一个种类时,停止分裂。

2、当继续分裂,会超过树的最大深度时,停止分裂,这样可以确保树不会太大,使它不会过拟合。树的深度定义如下:

3、当纯度提高率低于阈值时,停止分裂。如果此时继续增加节点,取得的收益很小,有可能导致过拟合。

4、当子集的数据量低于阈值时,停止分裂。

学习来源:吴恩达机器学习,15.1-15.2节

相关推荐
Oiiouui6 分钟前
原始CNN识别与训练模型实现
神经网络·机器学习·cnn
郝学胜-神的一滴34 分钟前
Effective Python 条款36:优雅拼装迭代器与生成器
开发语言·数据结构·人工智能·python·numpy·scikit-learn
Frag0ut1 小时前
Chrome 2026浏览器AI助手全攻略:智能问答与内容创作实战进阶指南
人工智能·chrome·ai助手·本地大模型·浏览器ai·网页智能总结·侧边栏ai
如夏倾城2 小时前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
Dawson Zhu2 小时前
【模型量化⑤】Weight-Only INT4:AWQ与GPTQ两大算法深度解析
人工智能·语言模型·架构·aigc·agi
水如烟2 小时前
孤能子视角:通用智能 vs 分工协同智能群系统–––集中结晶 vs 分布式结晶
人工智能
罗西的思考3 小时前
【轻量化复现大模型 / KIMI K3】训练模块梳理 & Muon P2P 优化器
人工智能·深度学习·机器学习
lilihuigz3 小时前
权限配置:WordPress 7.2 Abilities API 权限、输入验证与 JSON 输出指南
人工智能
杨凯凡3 小时前
IT日报|2026-11-20:欧盟 AI 网络攻击、Valkey 9.2、GitHub 企业迁移
人工智能·github