第二章: 机器学习与神经网络概述
第三部分：类算法理论与实践
第三节：决策树分类器
内容：信息增益、剪枝技术、过拟合与泛化能力。
决策树是一种常用于分类和回归的树状结构模型，它通过一系列特征判断进行决策，有良好的可解释性。
一、基本概念
-
节点（Node）：表示特征判断条件
-
边（Branch）：表示特征判断的结果路径
-
叶子节点（Leaf）：表示分类结果
二、划分准则：信息增益（Information Gain）
信息增益衡量划分数据后信息的不确定性减少量。常见的指标有：
1. 熵（Entropy）：
衡量系统的不确定性，定义如下：
其中 是样本属于第 i 类的概率。
2. 信息增益（ID3算法）：
即在特征 A 上划分后的加权平均熵减少量。
3. 信息增益率（C4.5算法）：
防止倾向于取值多的特征，使用：
4. 基尼系数（Gini Index, CART算法）：
三、剪枝技术（Pruning）
决策树容易过拟合，为此引入剪枝：
-
预剪枝（Pre-Pruning）：在构建树过程中提前停止划分，如：
-
最小样本数限制
-
最大树深限制
-
最小信息增益阈值等
-
-
后剪枝（Post-Pruning）：构建完整树后，自底向上移除对泛化无提升的子树，常结合验证集评估
四、过拟合与泛化能力
-
过拟合（Overfitting）：树过于复杂，记住训练集细节，泛化能力差
-
泛化能力（Generalization）：模型对未知样本的预测能力
提升泛化能力的方法：
-
限制树深
-
设置最小分裂样本数
-
使用集成学习方法（如随机森林）
五、Python 示例（使用 sklearn）
python
from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
# 加载数据
X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)
# 创建并训练模型
clf = DecisionTreeClassifier(criterion="entropy", max_depth=3)
clf.fit(X_train, y_train)
# 预测与评估
y_pred = clf.predict(X_test)
print(f"准确率: {accuracy_score(y_test, y_pred):.2f}")六、决策树的优缺点
| 优点 | 说明 |
|---|---|
| 可解释性强 | 输出为结构化树，易于理解 |
| 处理数值与类别数据 | 灵活适应各种数据类型 |
| 不需要归一化 | 不受特征缩放影响 |
| 缺点 | 说明 |
|---|---|
| 易过拟合 | 尤其是在树太深时 |
| 对噪声敏感 | 小的扰动可能导致结构变化 |
| 不稳定 | 样本微小变化可影响结构（可用集成方法解决） |
七、可视化与拓展建议
-
可视化决策树结构 （
plot_tree） -
重要特征排序 （
feature_importances_） -
拓展到 回归树 、集成模型（如随机森林、GBDT）
决策树结构图示例
python
from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier, plot_tree
import matplotlib.pyplot as plt
# 1. 加载鸢尾花数据集
iris = load_iris()
X, y = iris.data, iris.target
feature_names = iris.feature_names
class_names = iris.target_names.tolist() # 修改：将数组转换为列表
# 2. 构建决策树分类器
clf = DecisionTreeClassifier(max_depth=3, random_state=0) # 限制树深度便于可视化
clf.fit(X, y)
# 3. 绘制决策树结构图
plt.figure(figsize=(12, 8))
plot_tree(clf,
feature_names=feature_names,
class_names=class_names,
filled=True,
rounded=True,
fontsize=10)
plt.title("Iris Dataset Decision Tree (max_depth=3)")
plt.show()
这是一个基于鸢尾花（Iris）数据集构建的决策树结构图示例，显示了如何根据花瓣长度、宽度等特征逐层进行判断，最终实现分类。
图中包括：
-
内部节点：判断条件（如 petal length ≤ 2.45）
-
边：特征判断的结果（True/False）
-
叶子节点：分类结果（如 setosa、versicolor、virginica）
-
每个节点显示：样本数量、各类样本比例、所属类别