Boosting算法是一种集成学习方法，通过逐步迭代训练弱分类器，并通过加权组合它们的预测结果来构建一个强分类器。
下面是Boosting算法（以AdaBoost为例）的详细过程和一个案例：
-
数据准备：首先，将数据集分为训练集和测试集。训练集用于训练Boosting模型，测试集用于评估模型的性能。
-
初始化权重：对于训练集中的每个样本，初始化一个权重，使得所有样本的权重之和为1。初始权重可以是均匀分布的，即每个样本的权重相等。
-
迭代训练弱分类器：循环进行以下步骤，直到达到停止条件（例如，达到最大迭代次数或分类器性能足够好）：
a. 训练一个弱分类器：使用当前样本权重训练一个弱分类器，例如决策树桩（仅有一个分裂节点的决策树）。
b. 计算分类器误差：计算弱分类器在训练集上的误差，通过比较分类器的预测结果和实际标签。
c. 计算分类器权重：基于分类器的误差，计算分类器的权重。误差越小的分类器权重越大，表示分类器的预测结果对于纠正错误更有权威性。
d. 更新样本权重：根据分类器的权重和分类器的预测结果，更新每个样本的权重。被错误分类的样本权重增加，被正确分类的样本权重减少。
e. 归一化样本权重：将样本权重归一化，使得所有样本的权重之和为1。
- 构建强分类器：将所有弱分类器的预测结果加权组合，得到最终的强分类器。
下面是一个简单的AdaBoost算法的计算实例，假设我们有一个二元分类问题，数据集包含6个样本和2个特征（X1和X2），目标变量为类别标签（Y）：
| 样本 | X1 | X2 | Y |
|------|----|----|---|
| 1 | 1 | 2 | 0 |
| 2 | 2 | 1 | 0 |
| 3 | 3 | 3 | 1 |
| 4 | 4 | 2 | 1 |
| 5 | 3 | 4 | 0 |
| 6 | 5 | 5 | 1 |
我们将构建一个包含3个弱分类器的AdaBoost模型。
-
初始化权重：初始权重为均匀分布，每个样本的权重为1/6。
-
迭代训练弱分类器：
a. 弱分类器1：使用当前样本权重训练一个弱分类器。
在第一次迭代中，我们选择一个决策树桩作为弱分类器，它选择最佳的特征和阈值进行二元分类。
- 决策树桩选择特征X1和阈值2进行分类。样本1、2、3和5被正确分类，样本4和6被错误分类。
b. 计算分类器误差：计算弱分类器在训练集上的误差。
- 弱分类器1误差：错误分类的样本权重之和为1/6 + 1/6 = 1/3。
c. 计算分类器权重：基于分类器的误差，计算分类器的权重。
- 弱分类器1权重：根据误差计算公式，弱分类器1的权重为0.5 * log((1 - 1/3) / (1/3)) ≈ 0.4236。
d. 更新样本权重：根据分类器的权重和分类器的预测结果，更新每个样本的权重。
- 被错误分类的样本权重增加，被正确分类的样本权重减少。
样本1、2、3和5的权重由1/6增加到1/6 * exp(0.4236) ≈ 0.1889。
样本4和6的权重由1/6减少到1/6 * exp(-0.4236) ≈ 0.0625。
e. 归一化样本权重：将样本权重归一化，使得所有样本的权重之和为1。
- 归一化后的样本权重：0.1889 + 0.1889 + 0.1889 + 0.1889 + 0.0625 + 0.0625 = 1。
f. 弱分类器2和弱分类器3的训练过程与弱分类器1类似，根据更新后的样本权重训练分类器并计算权重。
- 构建强分类器：将所有弱分类器的预测结果加权组合，得到最终的强分类器。
强分类器的预测结果由每个弱分类器的预测结果乘以其对应的权重，然后取加权结果的符号作为最终的预测类别。
假设弱分类器1、弱分类器2和弱分类器3的权重分别为0.4236、0.5432和0.6789，它们的预测结果分别为-1, -1, 1, 1, -1, 1，则强分类器的预测结果为：
加权结果 = 0.4236 * (-1) + 0.5432 * (-1) + 0.6789 * 1 ≈ 0.6987
最终的预测类别为sign(0.6987) = 1。