机器学习_10、集成学习-Bagging(自举汇聚法)

Bagging(自举汇聚法)

Bagging(Bootstrap Aggregating,自举汇聚法)是一种集成学习方法,由Leo Breiman于1996年提出。它旨在通过结合多个模型来提高单个预测模型的稳定性和准确性。Bagging方法特别适用于减少高方差模型(如决策树)的过拟合问题,从而提高模型的泛化能力。

工作原理

Bagging的核心思想是通过并行地训练多个独立的预测模型,并将它们的预测结果进行汇总(对于分类任务通常采用投票机制,对于回归任务则采用平均),以此来提高整体模型的预测性能。具体步骤如下:

  1. 自助采样(Bootstrap sampling):从原始训练数据集中使用有放回的抽样方法随机选取N个样本,形成一个新的训练集。这个过程重复K次,生成K个不同的训练集。这些训练集之间可能有重叠的样本。

  2. 独立训练:对每个生成的训练集,独立地训练一个基预测模型。这些基模型可以是任何类型的模型,但在实践中常用决策树。每个模型只看到数据的一部分子集,这有助于模型学习到数据的不同方面。

  3. 汇总预测

    • 对于分类问题,最终的预测结果通常是通过投票机制得到的,即选择出现次数最多的类别标签作为最终预测。
    • 对于回归问题,最终的预测结果是通过计算所有单个模型预测值的平均值得到的。

优点

  • 减少方差:Bagging通过构建多个模型并汇总它们的预测结果,可以有效减少模型的方差,降低过拟合风险。
  • 提高鲁棒性:即使基模型的性能不是很好,通过Bagging也能提高整体模型的稳定性和准确性。
  • 易于实现并行化:由于各个基模型的训练是相互独立的,因此Bagging方法很容易进行并行化处理,提高计算效率。
  • 灵活性:Bagging方法可以与各种类型的预测模型结合使用,增加了方法的通用性。

应用场景

Bagging方法广泛应用于各种机器学习任务中,尤其是那些模型容易受到过拟合影响的场景。随机森林(Random Forest)就是一种基于决策树和Bagging原理的集成学习算法,它在多个领域内都表现出了优异的性能,如金融风险评估、医学诊断、图像识别等。此外,Bagging技术也适用于提升那些本身就表现不错但希望进一步提高准确度的模型性能。

复制代码
#coding=utf-8
#BaggingClassifier.py
from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import GaussianNB
from sklearn.ensemble import BaggingClassifier

# 加载葡萄酒数据集
wine = load_wine()
X, y = wine.data, wine.target

# 划分训练集与测试集
X_train, X_test, y_train, y_test = \
    train_test_split(X, y, stratify=y, random_state=0)

# 创建基本分类模型对象
gnb_clf = GaussianNB()

# 创建集成学习器
bc = BaggingClassifier(gnb_clf, n_estimators=20,
                       max_samples=0.5, bootstrap=True,
                       random_state=0)
# 训练模型
bc.fit(X_train, y_train)
print("训练集准确率:",bc.score(X_train,y_train),sep="")
print("测试集准确率:",bc.score(X_test,y_test),sep="")
print("测试集前三个样本的预测标签:",bc.predict(X_test[:3]))
print("测试集前三个样本的真实标签:",y_test[:3])
print("测试集前三个样本的标签预测概率:\n",
      bc.predict_proba(X_test[:3]),sep="")
相关推荐
孤独野指针*P几秒前
面向边缘AI视觉系统的低成本硬件方案
人工智能
RAG专家30 分钟前
【ReAcTable】面向表格问答任务的ReAct增强框架
人工智能·语言模型·表格问答·表格理解
文火冰糖的硅基工坊1 小时前
[人工智能-大模型-51]:Transformer、大模型、Copilot、具身智能、多模态、空间智能、世界模型,什么意思,它们不同点和联系
人工智能·transformer·copilot
彩云回1 小时前
LOESS回归
人工智能·机器学习·回归·1024程序员节
加油吧zkf1 小时前
生成式对抗网络 GAN:从零理解生成对抗网络的原理与魅力
人工智能·python·gan
算家计算1 小时前
云计算大佬揭秘AI如何改变程序员未来,这些技能将成关键
人工智能·程序员·云计算
Ai173163915791 小时前
英伟达RTX 6000 Ada 和L40S 对比,哪个更适合做深度学习?
图像处理·人工智能·gpt·深度学习·神经网络·机器学习·电脑
机器之心1 小时前
死磕「文本智能」,多模态研究的下一个前沿
人工智能·openai
文火冰糖的硅基工坊1 小时前
[人工智能-大模型-58]:模型层技术 - 深度神经网络的本质是一个复杂的复合数学函数
人工智能·神经网络·算法·dnn
机器之心1 小时前
比Qwen3-Max更Max?夸克抢先用上最新闭源模型
人工智能·openai