深度学习 Lecture 8 决策树

一、决策树模型(Decision Tree Model)

椭圆形代表决策节点(decison nodes),矩形节点代表叶节点(leaf nodes),方向上的值代表属性的值,

构建决策树的学习过程:

第一步:决定在根节点上的特征(也就是第一个分开样本的特征)

第二步:决定在内部节点上的特征(第二个、第三个分开样本的特征)

第三步:顺着特征写出特定的值的输出值

第一个问题:如何选择在每个节点上使用划分的特征呢?

尽量要保持最大的纯度(Maximize purity),纯度代表说,尽可能能直接完成分类(也就是尽量把这几个类的子集分开)

第二个问题:什么时候停止划分?

  1. 当一个节点能百分百判断一个类的时候

2.当划分节点将会导致树超过最大深度时

  1. 想避免过拟合时

二、测量纯度(Measuring purity)

熵:对一组数据不纯度的衡量

熵函数一般用H(p_1)表示

可以看到,当样本集是五五开的时候,这条曲线是最高的,也就是熵最大。

相反,如果样本集里都是猫或者都是狗的话,熵为0.

熵函数的方程:

相关推荐
mit6.8247 分钟前
[nanoGPT] 编排训练 | `get_batch` | AdamW | `get_lr` | 分布式训练(DDP)
人工智能
rengang668 分钟前
30-机器学习应用案例:展示机器学习在各行业中的典型应用实例
人工智能·机器学习
盈创力和200717 分钟前
以太网多参量传感器:超越温湿度的“智能嗅探”,守护每一方空气的安全
大数据·人工智能
wwlsm_zql32 分钟前
江西移动5G赋能:电力行业智能化革新探秘
人工智能·5g
迪三达40 分钟前
GPT-0: Attention+Transformer+可视化
gpt·深度学习·transformer
ChatPPT_YOO44 分钟前
告别手搓PPT:实测四款免费AI生成工具
人工智能·信息可视化·powerpoint·ai生成ppt·ppt制作
caiyueloveclamp1 小时前
便宜好用AIPPT推荐TOP8【2025最新】
大数据·人工智能·powerpoint·ai生成ppt·aippt·免费会员
CHENKONG_CK1 小时前
RFID 技术赋能汽车制造:发动机气缸缸体生产线智能化升级案例
人工智能·生产制造·rfid
葡萄城技术团队2 小时前
实战视角:为何专用小型语言模型(SLM)正成为企业 AI 选型新宠—与 LLM 的全面对比指南
大数据·人工智能·语言模型
AndrewHZ2 小时前
【图像处理基石】老照片修复入门:用技术唤醒沉睡的回忆
图像处理·人工智能·opencv·计算机视觉·cv·图像修复