[机器学习]bagging, boosting, stacking

集成学习通过结合多个基学习器的预测结果来提升模型性能,主要方法包括Bagging、Boosting和Stacking。

以下是它们的详细介绍及对比:


1. Bagging

核心思想
  • 并行训练 :通过自助采样(Bootstrap Sampling)生成多个子数据集,每个子数据集训练一个基学习器,最终通过投票(分类)或平均(回归)集成结果。
  • 目标:降低模型方差(Variance),适用于高方差、低偏差的模型(如决策树)。
关键步骤
  1. 采样 :从原始数据集中有放回地随机抽取样本,生成多个子集(子集样本数与原始数据相同,包含重复样本)。
  2. 训练:每个子集独立训练一个基学习器(如决策树)。
  3. 集成:所有基学习器的预测结果通过多数投票或平均值聚合。
典型算法
  • 随机森林(Random Forest) :在Bagging基础上,加入特征随机选择(每棵树分裂时随机选部分特征),进一步降低方差。
优缺点
  • 优点:减少过拟合,适合高方差模型;可并行训练,效率高。
  • 缺点:基学习器同质化可能限制性能提升;对低偏差模型效果有限。
应用场景
  • 图像分类、金融风控等需要稳定性的任务。

2. Boosting

核心思想
  • 串行训练:按顺序训练基学习器,后续模型专注于纠正前序模型的错误,最终通过加权投票(如分类)或累加(如回归)集成结果。
  • 目标:降低模型偏差(Bias),适用于弱学习器(仅略优于随机猜测的模型)。
关键步骤
  1. 初始化权重:所有样本初始权重相同。
  2. 迭代训练:每轮训练后,增加错误样本的权重,使后续模型更关注难例。
  3. 加权集成:根据模型准确率分配权重,组合所有基学习器的预测。
典型算法
  • AdaBoost:通过调整样本权重,强调被误分类的样本。
  • 梯度提升(GBDT、XGBoost、LightGBM) :用梯度下降优化损失函数,逐步拟合残差。
优缺点
  • 优点:显著降低偏差,对弱学习器提升明显。
  • 缺点:可能过拟合噪声数据;训练无法并行,速度较慢。
应用场景
  • 搜索排序(GBDT)、异常检测(AdaBoost)等复杂模式识别任务。

3. Stacking(堆叠泛化)

核心思想
  • 分层训练:将多个基学习器的预测结果作为新特征,训练一个元学习器(Meta-Learner)进行最终预测。
  • 目标:结合不同模型的优势,提升泛化性能。
关键步骤
  1. 基学习器训练 :用原始数据训练多个异质模型(如SVM、决策树、KNN等)。
  2. 生成元特征:基学习器对训练集的预测结果作为新特征(需交叉验证避免数据泄露)。
  3. 元学习器训练:基于新特征训练一个高阶模型(如逻辑回归或神经网络)。
典型结构
  • 基学习器层:多样化模型(异质性高效果更好)。
  • 元学习器层:简单模型(如线性回归)以减少过拟合风险。
优缺点
  • 优点:灵活性强,可融合不同模型优势;性能通常优于单一模型。
  • 缺点:计算成本高;结构复杂,需谨慎调参。
应用场景
  • 机器学习竞赛中模型融合,或需极致性能的场景。

三者的对比

维度 Bagging Boosting Stacking
训练方式 并行 串行 分层(基模型+元模型)
目标 降低方差 降低偏差 结合不同模型的优势
数据采样 自助采样(有放回) 调整样本权重 通常用原始数据或交叉验证
基学习器 同质(如全为决策树) 同质(如全为决策树) 异质(不同算法模型)
典型算法 随机森林 AdaBoost、GBDT、XGBoost 自定义组合(如SVM+LR)
过拟合风险 低 高(尤其数据噪声多时) 中(依赖元学习器选择)

总结

  • Bagging:通过"少数服从多数"降低方差,适合高方差模型(如深度决策树)。
  • Boosting:通过"逐步纠错"降低偏差,适合弱学习器(如浅层树)。
  • Stacking:通过"模型协作"提升泛化能力,适合需要融合异质模型的复杂任务。

实际应用中,可结合三者特点选择:追求稳定性用Bagging,追求精度用Boosting,追求极致性能用Stacking。

相关推荐
Mh8 小时前
我是如何设计品牌站组件库的?
前端·css·设计模式
程序员大阳9 小时前
副队长Vue3教程(2)--Vite 搭建 Vue 项目,认识目录结构
前端·javascript·vue.js·vite·创建项目·目录结构·项目结构
濮水大叔9 小时前
Cabloy/Zova 与 Next.js 的 SSR 水合差异
前端·typescript·next.js
SoaringHeart10 小时前
Flutter最佳实践:用 flutter_html 渲染富文本
前端·flutter
Flynt11 小时前
Chrome给AI编程助手塞了203篇前端规范,我拆包实测:检索0.77秒是真快,扫描器有点挑食
前端·chrome·ai编程
罗西的思考11 小时前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习
北城笑笑11 小时前
Vue 110 ,若依SSE流式接口限次空500排查与解决
前端·javascript·vue.js·后端·vue
程序员韩星12 小时前
OpenAI 兼容接口返回 404,先查请求地址,再查模型名
前端·人工智能·http
Patrick_Wilson12 小时前
构建通过了,为什么有些浏览器还会白屏?
前端·javascript·浏览器
其实防守也摸鱼12 小时前
用 Claude Code 重构遗留系统:从评估到落地的完整指南
前端·网络·人工智能·chrome·安全·重构