决策树 (人工智能期末复习)

几个重要概念

  • 信息熵:随机事件未按照某个属性的不同取值划分时的熵减去按照某个属性的不同取值划分时的平均

    熵。即前后两次熵的差值。

    表示事物的混乱程度,熵越大表示混乱程度越大,越小表示混乱程度越小。

    对于随机事件,如果它的取值有N种情况,每种情况发生的概率为P,那么这件事的熵为:

  • 信息增益:

  • 信息增益率:

    使用信息增益比上训练数据集D关于特征A的值的熵

  • 基尼系数

例题

其实主要还是背公式+计算不出错,等我考完另一门试再写。

(20年)设训练集如下表所示,请用经典的 ID3 算法完成其学习过程。


(19年)下表给出外国菜是否有吸引力的数据集,每个菜品有 3 个属性"温度"、"口味","份量",请用决策树算法画出决策树(根据信息增益)。并预测 dish= {温度=热,口味=甜,份量=大} 的一道菜,是否具有吸引力。


(18年)下表为是否适合打垒球的决策表,请用决策树算法画出决策树,并请预测 E= {天气=晴,温度=适中,湿度=正常,风速=弱} 的场合,是否合适打垒球。


(17年)设使用ID3算法进行归纳学习的输入实例集S={ i | 1≤ i ≤ 7 }如下表所示。学习的目标是用属性A、B、C预测属性F。

(1)写出集合S分别以属性A、B、C作为测试属性的熵的增益Gain(S, A)、Gain(S, B)、Gain(S, C)的表达式。

(2)属性A、B、C中哪个应该作为决策树根节点的测试属性?


考虑下面一个数据集,它记录了某学生多次考试的情况,请根据提供的数据按要求构建决策树。

(1)根据信息增益率选择第一个属性,构建一个深度为1的决策树(根结点深度为1)。

(2)根据信息增益率构建完整的决策树。请回答,这两个决策树的决策结果是否和训练数据一致,并解释说明。

设样本集合如下表格,其中A、B、C是F的属性,请根据信息增益标准(ID3算法),画出F的决策树。

相关推荐
reddingtons4 分钟前
Adobe Firefly AI驱动设计:实用技巧与创新思维路径
大数据·人工智能·adobe·illustrator·photoshop·premiere·indesign
CertiK6 分钟前
IBW 2025: CertiK首席商务官出席,探讨AI与Web3融合带来的安全挑战
人工智能·安全·web3
Deepoch1 小时前
Deepoc 大模型在无人机行业应用效果的方法
人工智能·科技·ai·语言模型·无人机
Deepoch1 小时前
Deepoc 大模型:无人机行业的智能变革引擎
人工智能·科技·算法·ai·动态规划·无人机
kngines2 小时前
【字节跳动】数据挖掘面试题0003:有一个文件,每一行是一个数字,如何用 MapReduce 进行排序和求每个用户每个页面停留时间
人工智能·数据挖掘·mapreduce·面试题
Binary_ey2 小时前
AR衍射光波导设计遇瓶颈,OAS 光学软件来破局
人工智能·软件需求·光学软件·光波导
昵称是6硬币2 小时前
YOLOv11: AN OVERVIEW OF THE KEY ARCHITECTURAL ENHANCEMENTS目标检测论文精读(逐段解析)
图像处理·人工智能·深度学习·yolo·目标检测·计算机视觉
平和男人杨争争2 小时前
机器学习2——贝叶斯理论下
人工智能·机器学习
静心问道2 小时前
XLSR-Wav2Vec2:用于语音识别的无监督跨语言表示学习
人工智能·学习·语音识别
算家计算2 小时前
5 秒预览物理世界,2 行代码启动生成——ComfyUI-Cosmos-Predict2 本地部署教程,重塑机器人训练范式!
人工智能·开源