Python 机器学习核心入门与实战进阶 Day 3 - 决策树 & 随机森林模型实战

✅ 今日目标

  • 理解决策树(Decision Tree)的基本原理
  • 掌握信息熵、基尼系数等分裂标准
  • 使用 DecisionTreeClassifierRandomForestClassifier 构建模型
  • 学会可视化决策树与查看特征重要性
  • 对比单棵树与集成模型(随机森林)的泛化能力

📘 一、决策树模型简介

特性 描述
本质 以"特征条件"划分决策路径,形成一棵判断树
优点 逻辑清晰、可解释性强、不需归一化
缺点 易过拟合、对噪声敏感
应用 信用评分、规则建模、分类可视化

🧠 二、常用模型 API

决策树:

python 复制代码
from sklearn.tree import DecisionTreeClassifier

clf = DecisionTreeClassifier(max_depth=3, criterion='gini')
clf.fit(X_train, y_train)

随机森林:

python 复制代码
from sklearn.ensemble import RandomForestClassifier

rf = RandomForestClassifier(n_estimators=100, random_state=42)
rf.fit(X_train, y_train)

📊 三、评估方式建议

模型 适合场景 可解释性 精度表现
决策树 可视化逻辑、规则推理 ✅ 强 中等
随机森林 提高精度、降低过拟合 中等 ✅ 强

📈 四、可视化与分析

python 复制代码
from sklearn.tree import plot_tree
import matplotlib.pyplot as plt

plt.figure(figsize=(10, 6))
plot_tree(clf, feature_names=["成绩", "性别"], class_names=["不及格", "及格"], filled=True)
plt.show()
python 复制代码
# 特征重要性
import pandas as pd
importance = rf.feature_importances_
pd.DataFrame({"特征": ["成绩", "性别"], "重要性": importance})

💡 今日思路建议

  1. 构建同样的"是否及格预测"分类数据集
  2. 训练决策树模型,尝试调节 max_depth 查看影响
  3. 训练随机森林模型,查看是否提升性能
  4. 输出特征重要性对比
  5. 可视化决策树结构图

📁 练习脚本:decision_tree_forest_demo.py

python 复制代码
# 决策树 & 随机森林实战:预测学生是否及格

from sklearn.tree import DecisionTreeClassifier, plot_tree
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report, accuracy_score
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd

plt.rcParams['font.family'] = 'Arial Unicode MS'  # Mac 用户可用
plt.rcParams['axes.unicode_minus'] = False
# 1. 构造数据
np.random.seed(42)
size = 100
scores = np.random.randint(40, 100, size)
genders = np.random.choice([0, 1], size=size)
labels = (scores >= 60).astype(int)

# 标准化成绩 + 性别作为特征
X = np.column_stack(((scores - scores.mean()) / scores.std(), genders))
y = labels

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 2. 决策树模型
dt_model = DecisionTreeClassifier(max_depth=3, criterion='gini', random_state=42)
dt_model.fit(X_train, y_train)
y_pred_dt = dt_model.predict(X_test)

print("=== 决策树模型评估 ===")
print("准确率:", accuracy_score(y_test, y_pred_dt))
print(classification_report(y_test, y_pred_dt))

# 决策树可视化
plt.figure(figsize=(10, 6))
plot_tree(dt_model, feature_names=["成绩", "性别"], class_names=["不及格", "及格"], filled=True)
plt.title("决策树可视化")
plt.tight_layout()
plt.show()

# 3. 随机森林模型
rf_model = RandomForestClassifier(n_estimators=100, random_state=42)
rf_model.fit(X_train, y_train)
y_pred_rf = rf_model.predict(X_test)

print("\n=== 随机森林模型评估 ===")
print("准确率:", accuracy_score(y_test, y_pred_rf))
print(classification_report(y_test, y_pred_rf))

# 特征重要性对比
feature_importance = rf_model.feature_importances_
features = ["成绩", "性别"]
importance_df = pd.DataFrame({"特征": features, "重要性": feature_importance})
print("\n=== 特征重要性(随机森林) ===")
print(importance_df)

运行输出:

python 复制代码
=== 决策树模型评估 ===
准确率: 1.0
              precision    recall  f1-score   support

           0       1.00      1.00      1.00         7
           1       1.00      1.00      1.00        13

    accuracy                           1.00        20
   macro avg       1.00      1.00      1.00        20
weighted avg       1.00      1.00      1.00        20
相关推荐
cxr8281 分钟前
Claude Code PM 深度实战指南:AI驱动的GitHub项目管理与并行协作
人工智能·驱动开发·github
豌豆花下猫30 分钟前
Python 潮流周刊#118:Python 异步为何不够流行?(摘要)
后端·python·ai
THMAIL36 分钟前
深度学习从入门到精通 - LSTM与GRU深度剖析:破解长序列记忆遗忘困境
人工智能·python·深度学习·算法·机器学习·逻辑回归·lstm
Gyoku Mint39 分钟前
NLP×第六卷:她给记忆加了筛子——LSTM与GRU的贴靠机制
人工智能·深度学习·神经网络·语言模型·自然语言处理·gru·lstm
悠哉悠哉愿意1 小时前
【数学建模学习笔记】机器学习分类:随机森林分类
学习·机器学习·数学建模
wheeldown1 小时前
【数学建模】数据预处理入门:从理论到动手操作
python·数学建模·matlab·python3.11
玉木子1 小时前
机器学习(七)决策树-分类
决策树·机器学习·分类
YF云飞1 小时前
数据仓库进化:Agent驱动数智化新范式
数据仓库·人工智能·ai
多打代码1 小时前
2025.09.05 用队列实现栈 & 有效的括号 & 删除字符串中的所有相邻重复项
python·算法
@CLoudbays_Martin112 小时前
为什么动态视频业务内容不可以被CDN静态缓存?
java·运维·服务器·javascript·网络·python·php