深度学习 Lecture 8 决策树

一、决策树模型(Decision Tree Model)

椭圆形代表决策节点(decison nodes),矩形节点代表叶节点(leaf nodes),方向上的值代表属性的值,

构建决策树的学习过程:

第一步:决定在根节点上的特征(也就是第一个分开样本的特征)

第二步:决定在内部节点上的特征(第二个、第三个分开样本的特征)

第三步:顺着特征写出特定的值的输出值

第一个问题:如何选择在每个节点上使用划分的特征呢?

尽量要保持最大的纯度(Maximize purity),纯度代表说,尽可能能直接完成分类(也就是尽量把这几个类的子集分开)

第二个问题:什么时候停止划分?

  1. 当一个节点能百分百判断一个类的时候

2.当划分节点将会导致树超过最大深度时

  1. 想避免过拟合时

二、测量纯度(Measuring purity)

熵:对一组数据不纯度的衡量

熵函数一般用H(p_1)表示

可以看到,当样本集是五五开的时候,这条曲线是最高的,也就是熵最大。

相反,如果样本集里都是猫或者都是狗的话,熵为0.

熵函数的方程:

相关推荐
斐夷所非34 分钟前
人工智能 AI. 机器学习 ML. 深度学习 DL. 神经网络 NN 的区别与联系
人工智能
Funny_AI_LAB2 小时前
OpenAI DevDay 2025:ChatGPT 进化为平台,开启 AI 应用新纪元
人工智能·ai·语言模型·chatgpt
深瞳智检2 小时前
YOLO算法原理详解系列 第002期-YOLOv2 算法原理详解
人工智能·算法·yolo·目标检测·计算机视觉·目标跟踪
深眸财经3 小时前
机器人再冲港交所,优艾智合能否破行业困局?
人工智能·机器人
小宁爱Python3 小时前
从零搭建 RAG 智能问答系统1:基于 LlamaIndex 与 Chainlit实现最简单的聊天助手
人工智能·后端·python
新知图书4 小时前
Encoder-Decoder架构的模型简介
人工智能·架构·ai agent·智能体·大模型应用开发·大模型应用
大模型真好玩4 小时前
低代码Agent开发框架使用指南(一)—主流开发框架对比介绍
人工智能·低代码·agent
tzc_fly4 小时前
AI作为操作系统已经不能阻挡了,尽管它还没来
人工智能·chatgpt
PKNLP5 小时前
深度学习之神经网络1(Neural Network)
人工智能·深度学习·神经网络
文火冰糖的硅基工坊6 小时前
《投资-99》价值投资者的认知升级与交易规则重构 - 什么是周期性股票?有哪些周期性股票?不同周期性股票的周期多少?周期性股票的买入和卖出的特点?
大数据·人工智能·重构·架构·投资·投机