定义
通过训练若干个个体学习器，通过一定的结合策略，来完成学习任务，（常常可以获得比单一学习显著优越的学习器）就可以最终形成一个强学习器。
分类
| 种类 | 学习器 | 代表 | 计算 | 样本 | 样本权重&弱分类起权重 |
|---|---|---|---|---|---|
| bagging | 所有的个体学习器都是一个种类的 | 随机森林 | 并行，个体学习器之间不存在强依赖关系 | 训练集是在原始集中有放回选取的，从原始集中选出的各轮训练集之间是独立的。 | 使用均匀取样，每个样例的权重相等 所有预测函数的权重相等。 |
| boosting | 所有的个体学习器都是一个种类的 | AdaBoost， Xgboost，GBDT | 串行，个体学习器之间存在强依赖关系 | 每一轮的训练集不变，只是训练集中每个样例在分类器中的权重发生变化。而权值是根据上一轮的分类结果进行调整。 | 根据错误率不断调整样例的权值，错误率越大则权重越大。 每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重。 |
| Stacking | 所有的个体学习器不全是一个种类的 |
Bagging
代表算法：随机森林(Random Forest)
step
-
从原始样本集中抽取训练集。每轮从原始样本集中抽取n个训练样本（在训练集中，有些样本可能被多次抽取到，而有些样本可能一次都没有被抽中，每次采样事独立随机的），共进行k轮抽取，得到k个训练集。（k个训练集之间是相互独立的）。
-
每次使用一个训练集得到一个模型，k个训练集共得到k个模型。
-
对分类问题：少数服从多数。
-
对回归问题，计算均值。
随机森林
随机森林在bagging的样本随机采样基础上，又加上了特征的随机选择
Boosting
代表算法：AdaBoost， Xgboost，GBDT
训练过程为阶梯状，基模型按次序一一进行训练（实现上可以做到并行），基模型的训练集按照某种策略每次都进行一定的转化。如果某一个数据在这次分错了，那么在下一次我就会给它更大的权重。对所有基模型预测的结果进行线性综合产生最终的预测结果
step
-
首先从训练集用初始权重训练出一个弱学习器1；
-
根据弱学习的学习误差率表现来更新训练样本的权重，错误样本权重变高，让模型更关注错误样本；
-
然后基于调整权重后的训练集来训练弱学习器2；
-
如此重复进行，直到弱学习器数达到事先指定的数目T；
-
最终将这T个弱学习器通过加权求和（加法模型），得到最终的强学习器。
| 优点 | 缺点 | ||
|---|---|---|---|
| AdaBoost | 利用前一轮弱学习器的误差率来更新训练集的权重 ，这样一轮轮的迭代下去，简单的说是 Boosting框架+任意基学习器算法+指数损失函数 | 对异常样本敏感，异常样本在迭代中可能会获得较高的权重，影响最终预测准确性 | |
| Xgboost | CART回归树模型 | ||
| GBDT | 每个分类器在上一轮分类器的残差基础上进行训练。 |
Stacking
分阶段操作：第一阶段输入数据特征得出各自结果，第二阶段再用前一阶段结果训练得到分类结果。
step
-
首先先训练多个不同的模型；
-
然后把之前训练的各个模型的输出为输入来训练一个模型，以得到一个最终的输出。
具体方法是把数据分成两部分，用其中一部分训练几个基模型A1,A2,A3，用另一部分数据测试这几个基模型，把A1,A2,A3的输出作为输入，训练组合模型B。