吴恩达机器学习笔记 二十四 决策树模型 学习过程 什么时候停止分裂 如何选择结点特征

案例:识别小猫,上面这个分类的特征 x 采用分类值(几个离散的值)

决策树最顶端的结点称根结点(root node),除了根结点和叶子结点之外的叫决策结点(decision node),最底层的叫叶子结点(leaf node),叶子结点做出预测

决策树的学习过程

确定根结点使用什么特征,分类后再选一个特征进行分类,直到分出的一组中都是同一类了结束。

问题1:怎么选择决策结点使用的特征

要选能使纯度(一个子集更接近完全是狗,或者更接近完全是猫)最大的那个

问题2:什么时候停止分裂

当一个结点完全只有一类东西时;当再分出来结点会导致树超过最大深度时(树的深度从0开始);当纯度分数的提升在一个阈值下时(再分裂也提升不了多少);当一个结点的样本数低于一个阈值时。

保持树不太深有两个原因:一是为了快,另一个是这样不太容易过拟合

相关推荐
星浩AI几秒前
手把手带你在 Windows 安装 Hermess Agent,并接入飞书 [喂饭级教程含踩坑经验]
人工智能·后端·agent
争渡假渡2 分钟前
Claude Code 工作流 vs 人类程序员工作流
人工智能
配奇12 分钟前
集成学习(Ensemble Learning)
人工智能·机器学习·集成学习
新缸中之脑16 分钟前
RAG 只是权宜之计
人工智能
DeepModel17 分钟前
通俗易懂讲透 EM 算法(期望最大化)
人工智能·python·算法·机器学习
海海不掉头发18 分钟前
【AI大模型实战项目】大模型入门实战:两个落地项目保姆级教程12月14日-【项目】基于知识库RAG的物流行业信息问答系统
人工智能·python·深度学习·语言模型·自然语言处理·pycharm·scikit-learn
mpr0xy19 分钟前
《AI怎么一步步变聪明的?》系列(六)中国大模型崛起之路:从“追赶者”到“解题人”
人工智能·ai·大语言模型·qwen·deepseek
游了个戏19 分钟前
OPC × AI × 快手:小游戏蓝海中的第三极突围
人工智能·游戏
神奇小汤圆19 分钟前
Harness Engineering 时代的失败经验
人工智能
ok_hahaha19 分钟前
AI从头开始-黑马LongChain-RAG开发3
人工智能