吴恩达机器学习笔记 二十四 决策树模型 学习过程 什么时候停止分裂 如何选择结点特征

案例:识别小猫,上面这个分类的特征 x 采用分类值(几个离散的值)

决策树最顶端的结点称根结点(root node),除了根结点和叶子结点之外的叫决策结点(decision node),最底层的叫叶子结点(leaf node),叶子结点做出预测

决策树的学习过程

确定根结点使用什么特征,分类后再选一个特征进行分类,直到分出的一组中都是同一类了结束。

问题1:怎么选择决策结点使用的特征

要选能使纯度(一个子集更接近完全是狗,或者更接近完全是猫)最大的那个

问题2:什么时候停止分裂

当一个结点完全只有一类东西时;当再分出来结点会导致树超过最大深度时(树的深度从0开始);当纯度分数的提升在一个阈值下时(再分裂也提升不了多少);当一个结点的样本数低于一个阈值时。

保持树不太深有两个原因:一是为了快,另一个是这样不太容易过拟合

相关推荐
三品吉他手会点灯1 分钟前
嵌入式机器学习 - 学习笔记1.0.1 - 从 Alexa 到 TinyML:为什么机器学习开始跑进微控制器?
人工智能·笔记·嵌入式硬件·学习·机器学习
Fabarta技术团队8 分钟前
枫清科技“超级工作台”为半导体制造注入AI新动能
人工智能·科技·制造
手写码匠15 分钟前
注意力机制全家桶:从 Multi-Head 到 GQA 再到 Flash Attention 的手写实现
人工智能·深度学习·算法·aigc
nuoxin11415 分钟前
HR4988替代A4988-富利威
网络·人工智能·嵌入式硬件·fpga开发·dsp开发
TMT星球17 分钟前
2026中国互联网大会医疗AI分论坛举办,轻松健康发布“证音”并落地多个战略合作
人工智能·搜索引擎·百度
达达尼昂18 分钟前
编码智能体中的模型选择与执行深度
人工智能·后端·程序员
得一录19 分钟前
如何讲解 Agent的架构
人工智能
东方佑24 分钟前
FRSMASH v3.7:当门控机制成为长上下文的枷锁——一个极简修复背后的架构洞见
人工智能·架构
志凌海纳SmartX29 分钟前
构建 Agent Ready 的企业云基础设施(白皮书下载)
人工智能·ai·agent·smartx·企业云·榫卯企业云
AI科技星35 分钟前
乖乖数学全域超复数统一场论:未来可能形成的历史地位
人工智能·机器学习·金融·乖乖数学·全域数学