集成学习 是一种机器学习方法。它不试图训练一个单独的模型来解决问题，而是训练多个模型（通常称为"弱学习器"或"基学习器"） ，然后将它们的预测结果以某种策略组合起来，以得到一个更强大、更准确的最终模型。
可以这样理解：如果问一个复杂问题，不只听一个人的意见，而是听取很多专家的意见，然后把他们的答案综合起来，通常比只听一个人的要更可靠、更准确。
核心思想：
"三个臭皮匠，顶个诸葛亮。"
为什么集成学习有效？
- 减少方差：多个模型平均，能降低过拟合风险，提高稳定性（如Bagging方法）。
- 减少偏差：串行训练，后一个模型修正前一个的错误，能提高准确性（如Boosting方法）。
- 降低过拟合风险：组合模型通常比单个复杂模型泛化能力更强。
主要类型及代表算法：
| 方法 | 核心策略 | 并行/串行 | 代表算法 | 特点 |
|---|---|---|---|---|
| Bagging (自举聚合) | 并行训练多个独立模型，然后投票 （分类）或平均（回归）。 | 并行 | 随机森林 | 主要降低方差，防止过拟合。 |
| Boosting (提升) | 串行训练，每个新模型纠正前一个模型的错误，最后加权求和。 | 串行 | AdaBoost, 梯度提升树(GBDT) ， XGBoost, LightGBM | 主要降低偏差，提升准确性。 |
| Stacking (堆叠) | 用元学习器来学习如何最好地结合多个基模型。 | 混合 | 多层级模型结构 | 灵活性最高，可融合不同类型模型。 |
简单比喻：
- Bagging：每个学生独立做同一套试卷，然后综合答案投票。适用于容易"想太多"的学生（过拟合）。
- Boosting：老师批改第一份作业，让下一个学生重点改正错误，循序渐进。适用于普通但想提高的学生。
- Stacking：请几位专家各自出意见，再请一位总负责人（元模型）学习如何权衡这些意见。
为什么常用（以随机森林、XGBoost为例）？
- 效果好：在大量表格数据、传统机器学习任务中，集成模型常比单个模型（如决策树、SVM）表现更好。
- 鲁棒性强：对异常值和噪声不那么敏感。
- 不易过拟合：尤其随机森林，即使树很深也不容易过拟合。
- 工程成熟：XGBoost、LightGBM、随机森林都有高效、稳定的库，被广泛用于Kaggle比赛和工业界。
与单一模型的对比：
| 对比项 | 单一模型 | 集成模型 |
|---|---|---|
| 预测准确性 | 一般 | 更高 |
| 抗过拟合能力 | 较弱（尤其复杂模型） | 强 |
| 可解释性 | 高（如线性回归、单棵决策树） | 低（黑盒性更强） |
| 训练和推理成本 | 低 | 高（需要训练/存储多个模型） |
总结：
- 集成学习 就是"博采众长"，通过组合多个模型来获得比任何单一模型更好的泛化性能。
- 最常用的方法：随机森林（Bagging代表）、XGBoost/LightGBM（Boosting代表）。
- 注意：集成学习通常会增加计算开销和模型复杂度，但在追求预测精度时，往往是首选方法。