【集成学习】Bootstrap抽样

在机器学习中,集成学习(Ensemble Learning)是一种通过组合多个模型来提高预测性能的技术。常见的集成学习方法包括Bagging、Boosting、Stacking等。而Bootstrap抽样(Bootstrap Sampling)是集成学习中非常重要的一种技术,尤其是在Bagging(Bootstrap Aggregating)算法中得到了广泛应用。本文将从基本概念出发,详细介绍Bootstrap抽样的原理、在集成学习中的应用以及其优势。

1. 什么是Bootstrap抽样?

Bootstrap抽样是一种通过对原始数据集进行有放回的随机抽样,生成多个训练子集的技术。与传统的简单随机抽样不同,Bootstrap抽样允许同一个样本在抽样过程中被选中多次,也可能有样本完全未被选中。由于有放回抽样的特性,生成的子集会包含一定的重复数据。

Bootstrap抽样过程:

  • 从原始数据集随机抽取样本(允许重复),形成一个新的子集,大小与原始数据集相同
  • 重复此过程多次,生成多个不同的子集
  • 每个子集用于训练一个基学习器(例如决策树)
  • 所有基学习器的预测结果通过某种方式(如平均或投票)进行组合,得出最终的预测结果

事实证明,在自助法(bootstrapping)过程中,平均而言只有大约 63% 的样本被选中。而在树构建过程中未被使用的样本称为袋外样本(Out-Of-Bag, OOB)

2. Bootstrap抽样在集成学习中的应用

Bootstrap抽样在集成学习中的典型应用是Bagging算法。Bagging是Bootstrap抽样的一个具体实现,旨在通过组合多个基学习器的预测结果来提高整体模型的性能。

Bagging中的Bootstrap抽样:

  • 使用Bootstrap抽样生成多个子集,训练多个模型(通常是相同类型的基学习器)。
  • 对于分类任务,通常采用投票方式进行预测;对于回归任务,通常采用平均值。
  • 由于每个模型都是在不同的数据子集上训练的,因此它们的预测结果具有较低的相关性,能够有效地降低模型的方差。

3. 为什么平均而言只有大约 63% 的样本被选中

假设我们有 n 个观测值。那么未被选中的概率为:
P = n − 1 n P = \frac {n-1}{n} P=nn−1

如果我们进行 n 次有放回的抽样,那么某个观测值被选中的概率是:
( n − 1 n ) n (\frac{n-1}{n})^n (nn−1)n

在极限情况下(或者实际上,当 n 足够大时),结果大约为:
lim ⁡ n → ∞ ( n − 1 n ) n = e − 1 ≈ 0.368 \lim_{n \to \infty} (\frac {n-1}{n})^n = e^{-1} \approx 0.368 n→∞lim(nn−1)n=e−1≈0.368

相关推荐
saddhu.17 小时前
C++ 快速复习指南(上半部分)
java·c++·算法
即兴小索奇17 小时前
AI智能金融风控新实践:从信贷秒批到支付防护,筑牢金融安全新屏障
人工智能·ai·商业·ai商业洞察·即兴小索奇
AKAMAI18 小时前
应用平台更新:可定制目录、基于Git的密钥管理与K8s项目自动化管理
人工智能·云原生·云计算
执子手 吹散苍茫茫烟波18 小时前
leetcode46.全排列
java·leetcode·链表·深度优先·回溯法
Swift社区18 小时前
Swift 解法详解:LeetCode 368《最大整除子集》
开发语言·leetcode·swift
机器之心18 小时前
NeurIPS 2025:高分论文也可能被拒,只为保住那25%左右的接收率?
人工智能·openai
余衫马18 小时前
ModelScope 开发环境配置指南
人工智能
力扣每日一题18 小时前
【LeetCode】19、删除链表的倒数第N个结点
算法·leetcode·链表
aneasystone本尊18 小时前
GraphRAG 索引构建之知识提取(三)
人工智能
悦悦子a啊18 小时前
[Java]PTA:jmu-java-01入门-基本输入
java·开发语言·算法