机器学习_10、集成学习-随机森林

随机森林算法

随机森林(Random Forest)是一种集成学习方法,特别用于分类、回归和其他任务,它通过构建多个决策树(Decision Trees)在训练时进行预测,并采用平均或多数投票的方式来提高整体模型的准确性和鲁棒性。随机森林是由Leo Breiman和Adele Cutler提出的,它结合了Bagging(Bootstrap Aggregating)的思想和随机特征选择来构建决策树的集合。

工作原理

随机森林的工作过程可以概括为以下几个步骤:

  1. 自助采样(Bootstrap sampling):从原始数据集中使用有放回的抽样方式随机选择N个样本,形成一个训练集。这个过程重复进行多次,每次生成的训练集都用来构建一个新的决策树。

  2. 随机选择特征:在构建决策树的每个分裂节点时,不是查看所有特征来选择最佳分裂特征,而是随机选择一部分特征候选集,并从中选择最佳分裂特征。这一步增加了模型的随机性,有助于提高模型的泛化能力。

  3. 构建决策树:对于每个训练集,构建一个决策树。决策树在训练过程中不进行剪枝,允许它们尽可能地生长到最大深度。

  4. 汇总结果

    • 对于分类任务,随机森林通过多数投票的方式确定最终的类别输出。
    • 对于回归任务,随机森林将所有决策树的预测结果取平均值作为最终的预测输出。

特点和优势

  • 准确性高:通过集成多个决策树,随机森林通常能够达到很高的准确率,并且相比单个决策树,它更不容易过拟合。
  • 鲁棒性强:随机森林能够处理大量数据集,即使数据具有高维特征并且存在少量的缺失数据也能很好地工作。
  • 变量重要性评估:随机森林能够提供关于特征重要性的估计,这对于理解数据集中哪些特征对预测变量贡献最大非常有用。
  • 适用范围广:随机森林可以用于分类和回归任务,也被用于异常点检测等其他机器学习任务中。

应用场景

随机森林因其出色的准确性、鲁棒性和易用性,在各种领域得到了广泛的应用,包括但不限于:

  • 医疗诊断

  • 金融风险评估

  • 股票市场分析

  • 客户行为预测

  • 图像分类和识别

  • 生物信息学和基因分类

    #coding=utf-8
    #RandomForestClassifier.py
    import numpy as np
    import pandas as pd
    from sklearn.model_selection import train_test_split
    from sklearn.ensemble import RandomForestClassifier

    加载数据

    filename="./glass.data"
    glass_data = pd.read_csv(filename,index_col=0,header=None)

    先从DataFrame中取出数组值(.value),只是为了方便后面显示

    X,y = glass_data.iloc[:,:-1].values, glass_data.iloc[:,-1].values
    #X,y = glass_data.iloc[:,:-1], glass_data.iloc[:,-1]

    划分训练集与测试集

    X_train, X_test, y_train, y_test = train_test_split(
    X, y, shuffle=True, stratify=y, random_state=1)

    建立模型

    rfc = RandomForestClassifier(max_depth=4,bootstrap=True,
    random_state=0)
    rfc.fit(X_train, y_train)
    print("训练集准确率:",rfc.score(X_train,y_train))
    print("测试集准确率:",rfc.score(X_test,y_test))
    print("测试集前2个样本的预测分类标签:",rfc.predict(X_test[:2]))
    print("测试集前2个样本的真实分类标签:",y_test[:2])
    print("测试集前2个样本所属标签概率的预测值:\n",
    rfc.predict_proba(X_test[:2]),sep="")

相关推荐
Blossom.1185 小时前
量子计算与经典计算的融合与未来
人工智能·深度学习·机器学习·计算机视觉·量子计算
硅谷秋水5 小时前
MoLe-VLA:通过混合层实现的动态跳层视觉-语言-动作模型实现高效机器人操作
人工智能·深度学习·机器学习·计算机视觉·语言模型·机器人
小李独爱秋7 小时前
机器学习开发全流程详解:从数据到部署的完整指南
人工智能·机器学习
Dovis(誓平步青云)7 小时前
深挖 DeepSeek 隐藏玩法·智能炼金术2.0版本
人工智能·深度学习·机器学习·数据挖掘·服务发现·智慧城市
ZTLJQ7 小时前
基于机器学习的三国时期诸葛亮北伐失败因素量化分析
人工智能·算法·机器学习
赵钰老师7 小时前
【Deepseek、ChatGPT】智能气候前沿:AI Agent结合机器学习与深度学习在全球气候变化驱动因素预测中的应用
人工智能·python·深度学习·机器学习·数据分析
nuise_7 小时前
李宏毅机器学习笔记06 | 鱼和熊掌可以兼得的机器学习 - 内容接宝可梦
人工智能·笔记·机器学习
databook9 小时前
线性模型与多分类问题:简单高效的力量
python·机器学习·scikit-learn
就决定是你啦!15 小时前
机器学习 第一章 绪论
人工智能·深度学习·机器学习
liruiqiang0518 小时前
循环神经网络 - 简单循环网络
人工智能·rnn·深度学习·神经网络·机器学习