决策树学习笔记

1、信息熵

信息熵的概念

信息熵由克劳德·香农提出,用于量化信息的不确定性或随机性。在信息论中,熵表示一个随机事件所需的最小平均信息量(通常以比特为单位)。熵越高,系统的不确定性越大;熵越低,确定性越强。

数学定义

对于离散随机变量 ( X ),其可能的取值为 ( ),对应的概率为 ( ),信息熵 ( H(X) ) 定义为:其中, 表示以 2 为底的对数,确保单位为比特。若概率 ,则对应项定义为 0(因为)。

关键性质

  1. 非负性,当且仅当 ( X ) 为确定事件(某概率为 1)时熵为 0。
  2. 最大值 :对于 ( n ) 个可能事件,当所有事件等概率 时,熵达到最大值 ( )。
  3. 可加性:独立随机变量 ( X ) 和 ( Y ) 的联合熵满足 ( H(X, Y) = H(X) + H(Y) )。

应用场景

  • 数据压缩:熵表示无损压缩的极限,实际压缩算法的效率常以熵为基准。
  • 通信编码:香农的信道编码定理指出,通信速率低于信道容量(与熵相关)时可实现可靠传输。
  • 机器学习:决策树算法(如 ID3、C4.5)使用熵衡量特征的分裂效果。

示例计算

假设一个二元随机变量 ( X )(如硬币投掷),正面概率 ( p = 0.6 ),反面 ( 1-p = 0.4 ),其熵为: [ H(X) = -0.6 \log_2 0.6 - 0.4 \log_2 0.4 \approx 0.971 \text{ 比特} ]

当 ( p = 0.5 )(公平硬币)时,熵达到最大值 1 比特。

熵与不确定性

熵的本质是描述系统的不确定性。例如:

  • 天气预报中"晴天概率 100%"的熵为 0,无信息量。
  • "晴雨各 50%"的熵为 1 比特,需 1 比特信息消除不确定性。

2、决策树的基本概念

决策树是一种监督学习算法,用于分类和回归任务。其结构类似于树形流程图,通过一系列规则对数据进行分割,最终形成预测模型。每个内部节点代表一个特征测试,分支代表测试结果,叶节点代表最终的决策或输出值。

核心组成部分

  1. 根节点:树的起始点,包含所有样本。
  2. 内部节点:对某一特征进行判断,产生分支。
  3. 叶节点:最终的分类结果或回归值。
  4. 分支:特征测试的不同可能路径。

关键算法

决策树的构建依赖以下算法:

  • ID3:使用信息增益选择特征,仅支持分类任务。
  • C4.5:改进ID3,引入信息增益率处理连续特征和缺失值。
  • CART:支持分类(基尼系数)和回归(均方误差),生成二叉树。

数学公式示例

  1. 信息熵 (衡量不确定性):
    其中 是类别 ( i ) 在集合 ( S ) 中的比例。

  2. 基尼系数 (用于CART分类):

实际应用步骤

  1. 特征选择:根据指标(如信息增益、基尼系数)选择最佳分割特征。
  2. 树的生长:递归分割数据,直到满足停止条件(如节点纯度、最大深度)。
  3. 剪枝:防止过拟合,通过预剪枝(提前终止)或后剪枝(修剪已生成的树)。

优缺点分析

  • 优点:直观易解释、无需数据标准化、支持混合特征类型。
  • 缺点:容易过拟合、对噪声敏感、可能忽略特征间的相关性。

示例代码(Python)

复制代码
from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import load_iris

# 加载数据
data = load_iris()
X, y = data.data, data.target

# 训练模型
clf = DecisionTreeClassifier(criterion='gini', max_depth=3)
clf.fit(X, y)

# 预测
print(clf.predict([[5.1, 3.5, 1.4, 0.2]]))
相关推荐
小小洋洋1 天前
笔记:TFT_eSPI不支持ESP32C6;ESP8266运行LVGL注意事项
笔记
小年糕是糕手1 天前
【数据结构】单链表“0”基础知识讲解 + 实战演练
c语言·开发语言·数据结构·c++·学习·算法·链表
聪明的笨猪猪1 天前
Java JVM “垃圾回收(GC)”面试清单(含超通俗生活案例与深度理解)
java·经验分享·笔记·面试
半夏知半秋1 天前
lua对象池管理工具剖析
服务器·开发语言·后端·学习·lua
CoookeCola1 天前
Google Landmarks Dataset v2 (GLDv2):面向实例级识别与检索的500万图像,200k+类别大规模地标识别基准
图像处理·人工智能·学习·目标检测·计算机视觉·视觉检测
syt_biancheng1 天前
C++ 多态(1)
jvm·c++·学习
ue星空1 天前
逆向分析光与影:33号远征队使用的UE技术栈
笔记·学习
立志成为大牛的小牛1 天前
数据结构——二十二、并查集(王道408)
c语言·数据结构·笔记·学习·考研
二十三之歌1 天前
Redis 中文学习手册
数据库·redis·学习
青衫码上行1 天前
【从0开始学习Java | 第21篇】网络编程综合练习
java·网络·学习