机器学习-集成学习

一、集成学习核心原理

​​1.1 基本定义​ ​

集成学习(Ensemble Learning)通过组合多个弱学习器(Weak Learner)构建强学习器,其泛化误差可表示为:

其中:

  • E:各弱学习器误差的加权平均
  • A:学习器间的多样性度量(正相关性越小,泛化能力越强)

​​1.2 两大范式对比​​

​​特性​​ ​​Bagging​​ ​​Boosting​​
​​样本权重​​ 均匀分布 动态调整(关注错分样本)
​​训练方式​​ 并行 串行
​​方差-偏差​​ 主要降低方差 主要降低偏差
​​代表性算法​​ 随机森林 Adaboost/GBDT/XGBoost

二、Bagging与随机森林数学详解(600字)

​​2.1 Bootstrap抽样数学本质​ ​

设数据集 D 含 N 个样本,有放回抽样生成子集 Dt​:

即每个子集约含63.2%的原始样本,剩余36.8%形成袋外数据(OOB)。

​​2.2 随机森林双随机性​​

  • ​特征随机​ :分裂时从 M 个特征随机选 m(通常 )

  • ​决策树构建​ :节点分裂依据基尼不纯度最小化:



三、Boosting算法数学推导
3.1 Adaboost核心公式

​​权重更新机制​​:

  1. 初始权重:

  2. 第 t 轮弱学习器错误率:

  3. 学习器权重:

  4. 样本权重更新:

    复制代码
  5. 规范化:

3.2 GBDT梯度提升原理

​​伪残差计算​ ​:

对于损失函数 L,第 t 轮伪残差:

ri,t​=−∂F(xi​)∂L(yi​,F(xi​))​F(x)=Ft−1​(x)​

  • ​平方损失​:ri,t=yi−Ft−1(xi)(残差)
  • ​绝对损失​:ri,t=sign(yi−Ft−1(xi))
  • ​对数损失​:ri,t=yi−1+e−Ft−1(xi)1

​​模型更新​ ​:

Ft​(x)=Ft−1​(x)+ν∑i=1N​ri,t​⋅I(x∈Rj,t​)

其中:

  • ν:学习率(shrinkage系数)
  • Rj,t:第 t 轮树的叶子区域
3.3 XGBoost二阶泰勒展开

​​目标函数分解​ ​:

其中正则项

​​二阶泰勒近似​ ​:

其中:

​​叶子权重解析解​ ​:

定义叶子 j 的实例集合,则最优权重:

​​结构分数(增益公式)​ ​:

该公式指导特征选择与分裂点决策


四 、关键对比总结​​
​​维度​​ ​​Bagging(如随机森林)​​ ​​Boosting(如Adaboost/GBDT)​​
​​数据使用​​ 独立有放回抽样 全数据集,权重调整
​​模型关系​​ 并行独立训练 串行依赖训练
​​过拟合风险​​ 低(双重随机性) 需控制学习率和树复杂度
​​代表算法​​ 随机森林 Adaboost, GBDT, XGBoost

​​五 、实践案例要点​​

​​ 泰坦尼克号预测​​:

特征工程:处理缺失值(Age填充均值)、类别编码(Sex的One-hot)。

随机森林 vs 决策树:RF显著提升准确率(约5-10%)。

​​红酒品质分类​​:

多分类问题:XGBoost需设objective='multi:softmax'。

样本不均衡:使用class_weight='balanced'调整权重。


​​六 、高频考点解析​​

Q:为什么随机森林要随机抽样和随机选特征?​​

​​A​​:打破弱学习器间的相关性,提升泛化能力(若所有树用相同数据/特征,投票结果相同)。

​​Q:GBDT拟合的是残差还是负梯度?​​

​​A​​:负梯度(残差是平方损失下的特例)。

​​Q:XGBoost如何防止过拟合?​​

​​A​ ​:正则化项(gamma控制分裂阈值,lambda约束叶子权重)+ 学习率eta缩减。

相关推荐
VIP_CQCRE2 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷3 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我3 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁013 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
Csvn4 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄5 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下5 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码5 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下6 小时前
langgraph 全栈项目(二)
前端·人工智能·后端
大模型真好玩6 小时前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek