机器学习——集成学习

一、集成学习概念

集成学习: (Ensemble Learning)是一种机器学习范式,它通过构建并结合多个模型来完成学习任务,获得更好的泛化性能。

核心思想:通过组合多个弱学习器来构建一个强学习器。

bagging思想:有放回的抽样;平权投票,多数表决方式决定预测结果;并行训练。

boosting思想:全部样本(重点关注上一训练器不足的地方训练);加权投票的方式;串行训练。

二、集成学习方法

核心对比:

|----------|---------------|------------|--------------|
| 方法 | 训练方式 | 预测方式 | 适用场景 |
| Bagging | 并行训练独立模型 | 投票/平均 | 高方差模型 (如决策树) |
| Boosting | 顺序训练,调整样本权重 | 加权投票/累加 | 高偏差模型 (如弱树) |
| Stacking | 两层模型(基模型+元模型) | 元模型组合基模型预测 | 复杂任务,需模型融合 |

详细对比:

1.Bagging(如随机森林):

训练时:通过"有放回"的自助采样(bootstrap)从训练集中生成多个子集,每个子集"独立"训练一个基学习器(如决策树)。

预测时:所有基学习器对未知样本进行预测,最终结果通过 投票(分类) 或 平均(回归) 得到。

API:sklearn.ensemble.RandomForestClassifier

2.Boosting(如AdaBoosting、GBDT、XGBoost):

训练时:基学习器是顺序训练的,每个新模型都试图修正前一个模型的错误(如调整样本权重或拟合残差)。

预测时:所有基学习器的预测结果进行加权组合(如AdaBoost)或累加(GBDT系列)。

API:sklearn.ensemble.AdaBoostClassifier / sklearn.ensemble.GradientBoostingClassifier

3.Stacking:

训练时:先训练多个不同类型的基学习器,再用它们的输出训练一个元学习器(meta-model)。

预测时:基学习器先预测,然后元学习器基于它们的输出做最终预测。

三、底层详解

Bagging

概述:多个模型独立训练,投票决定结果(稳)

代表算法--随机森林算法 API:sklearn.ensemble.RandomForestClassifier

步骤:1.有放回的随机抽样产生训练集;2.随机挑选n个特征(n小于特征总数);3.训练弱学习器;4.重复1-3,训练n个弱学习器(决策树);5.预测结果:分类问题:多数表决;回归问题:计算平均值。

Boosting

概述:模型逐步改进,加权组合结果(准)

代表算法:

①Adaboost算法 API:sklearn.ensemble.AdaBoostClassifier

算法思想:通过逐步提高前一步分类错误的样本的权重来训练一个强分类器。

步骤:1.初始化数据权重,训练第一个学习器,根据预测结果找一个错误率最小的分裂点,然后重新计算样本权重,模型权重;

2.根据新的样本权重,训练第二个学习器,根据结果找一个错误率最小的分裂点,然后再次更新样本权重,模型权重;

3.重复以上过程,依次训练n个弱学习器.最终组合起来进行预测,结果大于0为正类,小于0为负类。

②GBDT API:sklearn.ensemble.GradientBoostingClassifier

模型:

残差:真实观测值-预测值

每一个新学习器,都是拟合真实值与之前所有基学习器共同预测的结果之间的残差来提升的。

对于回归问题,损失函数是平方损失,GBDT拟合的负梯度就是残差。

对于分类问题,损失函数变为 logloss,此时拟合的目标值就是该损失函数的负梯度值。

步骤:1.初始化弱学习器,将目标值的均值作为初始的预测值;

2.迭代构建学习器,每一个新学习器拟合的是真实值与上一步模型(n-1个模型)预测结果之间的残差;

3.达到指定的学习器个数停止;

4.预测时,将所有弱学习器的输出结果组合起来作为强学习器的输出。

③XGBoost API:import xgboost as xgb

模型:

相关推荐
Sui_Network6 分钟前
Sui Stack Messaging SDK:为 Web3 打造可编程通信
大数据·人工智能·科技·web3·去中心化·区块链
金井PRATHAMA10 分钟前
GraphRAG对自然语言处理中深层语义分析的革命性影响与未来启示
人工智能·自然语言处理·知识图谱
人工智能培训11 分钟前
Transformer-位置编码(Position Embedding)
人工智能·深度学习·大模型·transformer·embedding·vision
丰年稻香21 分钟前
神经网络二分类任务详解:前向传播与反向传播的数学计算
人工智能·神经网络·分类
Lethehong31 分钟前
DeepSeek-V3.1-Terminus:蓝耘API+CherryStudio实测国产最新开源模型,推理能力竟让我后背发凉
人工智能·大模型·deepseek·蓝耘元生代·蓝耘maas·ai ping
咖啡星人k35 分钟前
AI 大模型驱动的开源知识库搭建系统 PandaWiki的网页挂件机器人教程
人工智能·机器人·开源
QYR_1136 分钟前
机器人定位器市场报告:2025-2031 年行业增长逻辑与投资机遇解析
大数据·人工智能
我是个菜鸡.42 分钟前
视觉/深度学习/机器学习相关面经总结(3)(持续更新)
人工智能·深度学习·机器学习
小oo呆43 分钟前
【自然语言处理与大模型】RAG发展过程中的三个范式
人工智能·自然语言处理
syounger43 分钟前
OpenAI携手SAP与微软:推动德国公共部门主权云AI落地
人工智能·microsoft