吴恩达机器学习笔记 二十四 决策树模型 学习过程 什么时候停止分裂 如何选择结点特征

案例:识别小猫,上面这个分类的特征 x 采用分类值(几个离散的值)

决策树最顶端的结点称根结点(root node),除了根结点和叶子结点之外的叫决策结点(decision node),最底层的叫叶子结点(leaf node),叶子结点做出预测

决策树的学习过程

确定根结点使用什么特征,分类后再选一个特征进行分类,直到分出的一组中都是同一类了结束。

问题1:怎么选择决策结点使用的特征

要选能使纯度(一个子集更接近完全是狗,或者更接近完全是猫)最大的那个

问题2:什么时候停止分裂

当一个结点完全只有一类东西时;当再分出来结点会导致树超过最大深度时(树的深度从0开始);当纯度分数的提升在一个阈值下时(再分裂也提升不了多少);当一个结点的样本数低于一个阈值时。

保持树不太深有两个原因:一是为了快,另一个是这样不太容易过拟合

相关推荐
白日做梦Q14 分钟前
数据增强策略:不仅仅是旋转和翻转
人工智能·深度学习
polarislove021416 分钟前
9.6 [定时器]超声波测距实验-嵌入式铁头山羊STM32笔记
笔记·stm32·嵌入式硬件
reddingtons19 分钟前
【品牌包装】告别“贴图怪”!Firefly + Illustrator Mockup,0 建模一键“真”样机
人工智能·aigc·illustrator·传媒·设计师·贴图·样机
大模型任我行23 分钟前
Meta:LLM无监督提升科研能力
人工智能·语言模型·自然语言处理·论文笔记
chushiyunen28 分钟前
快慢双指针算法笔记
数据结构·笔记·算法
重生之我要成为代码大佬32 分钟前
深度学习1-安装pytorch(无独立显卡版本)
人工智能·pytorch·深度学习·机器学习
临风小红楼34 分钟前
别了2025,你好2026
笔记
seasonsyy37 分钟前
密码学领域的“三大顶会” & IACR网站简介
人工智能·密码学
烟锁池塘柳041 分钟前
一文总结模型压缩技术:剪枝、量化与蒸馏的原理、实践与工程思考
算法·机器学习·剪枝
Lian_Ge_Blog1 小时前
微调方法学习总结(万字长文!)
人工智能·深度学习