机器学习之随机森林(五)

机器学习之随机森林(五)


文章目录


集成学习与随机森林算法详解

一、集成学习概述

集成学习(Ensemble Learning)通过组合多个分类器,构建预测效果更好的集成分类器。类比"三个臭皮匠,赛过诸葛亮"。

主要类型

  • Bagging:并行训练多个基学习器
  • Boosting:串行训练,后续模型修正前序模型的错误
  • Stacking:用元学习器组合多个基学习器

Bagging典型流程

  1. 有放回地抽取n个训练样本
  2. 训练M个子模型
  3. 分类问题采用投票法确定最终结果

二、随机森林原理

核心特点

  • 随机性
    • 样本随机:有放回抽样(Bootstrap)
    • 特征随机:每次随机选择k个特征(k<d)
  • 森林结构:多个决策树构成
  • 优势
    • 处理高维特征无需降维
    • 通过平均/投票提高精度,控制过拟合

三、Sklearn API详解

python 复制代码
class sklearn.ensemble.RandomForestClassifier(
    n_estimators=100,          # 树的数量
    criterion='gini',           # 划分标准:"gini"或"entropy"
    max_depth=None,             # 树的最大深度
    ...
)

关键参数

参数 说明
n_estimators 森林中决策树的数量
criterion 划分算法:"gini"基尼系数/"entropy"信息增益
max_depth 树的最大深度限制

四、实战案例:泰坦尼克生存预测

1. 数据准备与预处理

python 复制代码
import pandas as pd
from sklearn.feature_extraction import DictVectorizer

# 数据加载
titanic = pd.read_csv("src/titanic/titanic.csv")
x = titanic[["pclass", "age", "sex"]]
y = titanic["survived"]

# 数据处理
x["age"].fillna(x["age"].mean(), inplace=True)  # 年龄缺失值填充
x = x.to_dict(orient="records")  # 转为字典格式

2. 模型训练与调优

python 复制代码
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV

# 特征转换
transfer = DictVectorizer()
x_train = transfer.fit_transform(x_train)

# 网格搜索调参
param_dict = {
    "n_estimators": [120,200,300,500,800,1200],
    "max_depth": [5,8,15,25,30]
}
estimator = GridSearchCV(
    RandomForestClassifier(),
    param_grid=param_dict,
    cv=3  # 3折交叉验证
)
estimator.fit(x_train, y_train)

3. 模型评估

python 复制代码
# 最佳参数输出
print("最佳参数:", estimator.best_params_)
print("最佳准确率:", estimator.best_score_)

# 测试集评估
score = estimator.score(x_test, y_test)
print("测试集准确率:", score)

五、关键要点总结

  1. 随机森林通过双重随机性(样本+特征)增强多样性
  2. 典型超参数需调优:
    • 树的数量(n_estimators)
    • 树深度(max_depth)
    • 划分标准(criterion)
  3. 网格搜索+交叉验证是调参的有效方法
  4. 适用于高维数据,兼具准确性和抗过拟合能力
相关推荐
Giser探索家14 分钟前
无人机桥梁巡检:以“空天地”智慧之力守护交通生命线
大数据·人工智能·算法·安全·架构·无人机
不会学习的小白O^O17 分钟前
双通道深度学习框架可实现从无人机激光雷达点云中提取橡胶树冠
人工智能·深度学习·无人机
恒点虚拟仿真20 分钟前
虚拟仿真实训破局革新:打造无人机飞行专业实践教学新范式
人工智能·无人机·ai教学·虚拟仿真实训·无人机飞行·无人机专业虚拟仿真·无人机飞行虚拟仿真
丁浩66643 分钟前
Python机器学习---6.集成学习与随机森林
python·随机森林·机器学习
鲜枣课堂1 小时前
华为最新光通信架构AI-OTN,如何应对AI浪潮?
人工智能·华为·架构
格林威2 小时前
AOI在新能源电池制造领域的应用
人工智能·数码相机·计算机视觉·视觉检测·制造·工业相机
dxnb222 小时前
Datawhale25年10月组队学习:math for AI+Task5解析几何
人工智能·学习
DooTask官方号2 小时前
DooTask 1.3.38 版本更新:MCP 服务器与 AI 工具深度融合,开启任务管理新体验
运维·服务器·人工智能·开源软件·dootask
救救孩子把2 小时前
30-机器学习与大模型开发数学教程-3-4 矩阵的逆与伪逆
线性代数·机器学习·矩阵