adaboost提升方法

集成学习：串联（提升方法），并联（随机森林）

Adaboost：分类加法模型（更新样本权值，投票权值-由权值误差率决定）

提升树：回归加法模型 （更新标签：为上次模型的残差，由平方误差最小原则学得弱分类器）

AdaBoost（Adaptive Boosting）是一种流行的提升方法，它通过迭代地组合多个弱分类器来构建一个强分类器。AdaBoost的核心思想是：

1. 弱学习器的转换：即使弱学习器的性能只比随机猜测略好，AdaBoost也能够通过适当的组合提升其性能。
2. 样本权重的调整：在每一轮迭代中，AdaBoost增加被前一轮弱分类器错误分类样本的权重，减少正确分类样本的权重，从而使得后续的弱学习器更加关注难以分类的样本。

AdaBoost算法流程

1. 初始化：为训练数据集的每个样本分配相同的权重。
2. 迭代训练：在每一轮中，根据当前权重分布训练一个弱分类器，并计算其在加权训练集上的表现。
3. 权重更新：根据弱分类器的错误率调整样本权重，为下一轮迭代做准备。
4. 组合弱分类器：通过加权多数表决的方式组合所有弱分类器，形成最终的强分类器。

提升树：决策树的强强联合

提升树是一种以决策树作为基本分类器的提升方法，它在分类和回归问题上都表现出色。提升树的关键特点包括：

1. 决策树的简洁性：提升树中的决策树通常具有较浅的深度，如决策树桩，这使得它们易于理解和实现。
2. 逐步优化：通过逐步添加决策树并优化损失函数，提升树能够逐渐逼近复杂的数据结构。

提升树算法流程

1. 初始化模型：通常以一个常数值或基于训练数据的简单模型开始。
2. 负梯度计算：在每一步中，计算当前模型输出与真实值之间的残差，即损失函数的负梯度。
3. 弱学习器训练：训练一个新的决策树，使其拟合这些残差。
4. 模型更新：将新训练的决策树以一定的学习率加入到现有模型中，更新整体模型。

梯度提升：损失函数的梯度下降

梯度提升算法是提升方法的另一种形式，它通过利用损失函数的负梯度作为残差的近似值来训练弱学习器。梯度提升的关键步骤包括：

1. 初始化：设置一个初始模型，通常是一个常量或简单的预测。
2. 迭代优化：在每一轮迭代中，计算当前模型的负梯度，并用它来指导新弱学习器的训练。
3. 模型更新：将新训练的弱学习器加入到现有模型中，逐步优化整体模型。