机器学习-集成学习

一、集成学习核心原理

​1.1 基本定义​

集成学习(Ensemble Learning)通过组合多个弱学习器(Weak Learner)构建强学习器,其泛化误差可表示为:

其中:

  • E:各弱学习器误差的加权平均
  • A:学习器间的多样性度量(正相关性越小,泛化能力越强)

​1.2 两大范式对比​

​特性​ ​Bagging​ ​Boosting​
​样本权重​ 均匀分布 动态调整(关注错分样本)
​训练方式​ 并行 串行
​方差-偏差​ 主要降低方差 主要降低偏差
​代表性算法​ 随机森林 Adaboost/GBDT/XGBoost

二、Bagging与随机森林数学详解(600字)

​2.1 Bootstrap抽样数学本质​

设数据集 D 含 N 个样本,有放回抽样生成子集 Dt​:

即每个子集约含63.2%的原始样本,剩余36.8%形成袋外数据(OOB)。

​2.2 随机森林双随机性​

  • ​特征随机​ :分裂时从 M 个特征随机选 m(通常

  • ​决策树构建​ :节点分裂依据基尼不纯度最小化:



三、Boosting算法数学推导
3.1 Adaboost核心公式

​权重更新机制​​:

  1. 初始权重:

  2. 第 t 轮弱学习器错误率:

  3. 学习器权重:

  4. 样本权重更新:

    复制代码
  5. 规范化:

3.2 GBDT梯度提升原理

​伪残差计算​ ​:

对于损失函数 L,第 t 轮伪残差:

ri,t​=−[∂F(xi​)∂L(yi​,F(xi​))​]F(x)=Ft−1​(x)​

  • ​平方损失​:ri,t=yi−Ft−1(xi)(残差)
  • ​绝对损失​:ri,t=sign(yi−Ft−1(xi))
  • ​对数损失​:ri,t=yi−1+e−Ft−1(xi)1

​模型更新​ ​:

Ft​(x)=Ft−1​(x)+ν∑i=1N​ri,t​⋅I(x∈Rj,t​)

其中:

  • ν:学习率(shrinkage系数)
  • Rj,t:第 t 轮树的叶子区域
3.3 XGBoost二阶泰勒展开

​目标函数分解​ ​:

其中正则项

​二阶泰勒近似​ ​:

其中:

​叶子权重解析解​ ​:

定义叶子 j 的实例集合,则最优权重:

​结构分数(增益公式)​ ​:

该公式指导特征选择与分裂点决策


关键对比总结​
​维度​ ​Bagging(如随机森林)​ ​Boosting(如Adaboost/GBDT)​
​数据使用​ 独立有放回抽样 全数据集,权重调整
​模型关系​ 并行独立训练 串行依赖训练
​过拟合风险​ 低(双重随机性) 需控制学习率和树复杂度
​代表算法​ 随机森林 Adaboost, GBDT, XGBoost

​五实践案例要点​

​ 泰坦尼克号预测​​:

特征工程:处理缺失值(Age填充均值)、类别编码(Sex的One-hot)。

随机森林 vs 决策树:RF显著提升准确率(约5-10%)。

​红酒品质分类​​:

多分类问题:XGBoost需设objective='multi:softmax'

样本不均衡:使用class_weight='balanced'调整权重。


​六高频考点解析​

Q:为什么随机森林要随机抽样和随机选特征?​

​A​​:打破弱学习器间的相关性,提升泛化能力(若所有树用相同数据/特征,投票结果相同)。

​Q:GBDT拟合的是残差还是负梯度?​

​A​​:负梯度(残差是平方损失下的特例)。

​Q:XGBoost如何防止过拟合?​

​A​ ​:正则化项(gamma控制分裂阈值,lambda约束叶子权重)+ 学习率eta缩减。

相关推荐
sali-tec19 小时前
C# 基于halcon的视觉工作流-章48-短路断路
开发语言·图像处理·人工智能·算法·计算机视觉
cuicuiniu52119 小时前
浩辰CAD 看图王 推出「图小智AI客服」,重构设计服务新体验
人工智能·cad·cad看图·cad看图软件·cad看图王
SSO_Crown19 小时前
2025年HR 数字化转型:从工具应用到组织能力重构的深度变革
人工智能·重构
无风听海19 小时前
神经网络之单词的语义表示
人工智能·深度学习·神经网络
我叫侯小科19 小时前
YOLOv4:目标检测界的 “集大成者”
人工智能·yolo·目标检测
小姐姐味道20 小时前
AI应用时代:多读论文勤尝试,少做讨论少分享,是活下去的关键
人工智能·程序员·开源
星期天要睡觉20 小时前
大模型(Large Language Model, LLM)——什么是大模型,大模型的基本原理、架构、流程
人工智能·python·ai·语言模型
墨利昂20 小时前
机器学习和深度学习模型训练流程
人工智能·深度学习·机器学习
wktomo20 小时前
数据挖掘比赛baseline参考
人工智能·数据挖掘
言之。20 小时前
大语言模型科普报告
人工智能·语言模型·自然语言处理