机器学习_10、集成学习-随机森林

随机森林算法

随机森林(Random Forest)是一种集成学习方法,特别用于分类、回归和其他任务,它通过构建多个决策树(Decision Trees)在训练时进行预测,并采用平均或多数投票的方式来提高整体模型的准确性和鲁棒性。随机森林是由Leo Breiman和Adele Cutler提出的,它结合了Bagging(Bootstrap Aggregating)的思想和随机特征选择来构建决策树的集合。

工作原理

随机森林的工作过程可以概括为以下几个步骤:

  1. 自助采样(Bootstrap sampling):从原始数据集中使用有放回的抽样方式随机选择N个样本,形成一个训练集。这个过程重复进行多次,每次生成的训练集都用来构建一个新的决策树。

  2. 随机选择特征:在构建决策树的每个分裂节点时,不是查看所有特征来选择最佳分裂特征,而是随机选择一部分特征候选集,并从中选择最佳分裂特征。这一步增加了模型的随机性,有助于提高模型的泛化能力。

  3. 构建决策树:对于每个训练集,构建一个决策树。决策树在训练过程中不进行剪枝,允许它们尽可能地生长到最大深度。

  4. 汇总结果

    • 对于分类任务,随机森林通过多数投票的方式确定最终的类别输出。
    • 对于回归任务,随机森林将所有决策树的预测结果取平均值作为最终的预测输出。

特点和优势

  • 准确性高:通过集成多个决策树,随机森林通常能够达到很高的准确率,并且相比单个决策树,它更不容易过拟合。
  • 鲁棒性强:随机森林能够处理大量数据集,即使数据具有高维特征并且存在少量的缺失数据也能很好地工作。
  • 变量重要性评估:随机森林能够提供关于特征重要性的估计,这对于理解数据集中哪些特征对预测变量贡献最大非常有用。
  • 适用范围广:随机森林可以用于分类和回归任务,也被用于异常点检测等其他机器学习任务中。

应用场景

随机森林因其出色的准确性、鲁棒性和易用性,在各种领域得到了广泛的应用,包括但不限于:

  • 医疗诊断

  • 金融风险评估

  • 股票市场分析

  • 客户行为预测

  • 图像分类和识别

  • 生物信息学和基因分类

    #coding=utf-8
    #RandomForestClassifier.py
    import numpy as np
    import pandas as pd
    from sklearn.model_selection import train_test_split
    from sklearn.ensemble import RandomForestClassifier

    加载数据

    filename="./glass.data"
    glass_data = pd.read_csv(filename,index_col=0,header=None)

    先从DataFrame中取出数组值(.value),只是为了方便后面显示

    X,y = glass_data.iloc[:,:-1].values, glass_data.iloc[:,-1].values
    #X,y = glass_data.iloc[:,:-1], glass_data.iloc[:,-1]

    划分训练集与测试集

    X_train, X_test, y_train, y_test = train_test_split(
    X, y, shuffle=True, stratify=y, random_state=1)

    建立模型

    rfc = RandomForestClassifier(max_depth=4,bootstrap=True,
    random_state=0)
    rfc.fit(X_train, y_train)
    print("训练集准确率:",rfc.score(X_train,y_train))
    print("测试集准确率:",rfc.score(X_test,y_test))
    print("测试集前2个样本的预测分类标签:",rfc.predict(X_test[:2]))
    print("测试集前2个样本的真实分类标签:",y_test[:2])
    print("测试集前2个样本所属标签概率的预测值:\n",
    rfc.predict_proba(X_test[:2]),sep="")

相关推荐
Naomi5211 小时前
Trustworthy Machine Learning
人工智能·机器学习
星霜旅人1 小时前
K-均值聚类
人工智能·机器学习
机器鱼2 小时前
1.2 基于卷积神经网络与SE注意力的轴承故障诊断
深度学习·机器学习·cnn
无难事者若执4 小时前
新手村:逻辑回归-理解03:逻辑回归中的最大似然函数
算法·机器学习·逻辑回归
达柳斯·绍达华·宁4 小时前
自动驾驶04:点云预处理03
人工智能·机器学习·自动驾驶
IT从业者张某某4 小时前
机器学习-04-分类算法-03KNN算法案例
算法·机器学习·分类
补三补四5 小时前
k近邻算法K-Nearest Neighbors(KNN)
人工智能·机器学习
databook6 小时前
线性判别分析(LDA):降维与分类的完美结合
python·机器学习·scikit-learn
硅谷秋水6 小时前
大语言模型智体的综述:方法论、应用和挑战(下)
人工智能·深度学习·机器学习·语言模型·自然语言处理