全面解析AdaBoost：多分类、逻辑回归与混合分类器的实现

修炼室2024-06-14 21:37

1. 使用 AdaBoost 完成多分类和逻辑回归问题

多分类

AdaBoost 原本是为二分类问题设计的，但可以扩展到多分类问题。常用的方法包括 One-vs-All (OVA), AdaBoost.MH (Multiclass, Multi-Label) 和 AdaBoost.MR (Multiclass Ranking)。下面对每种方法进行详细介绍。

One-vs-All (OVA)

数学原理:

  1. 训练过程:

    • 对于每个类别 k k k ，训练一个二分类器 G k G_k Gk ，将该类别视为正类，其他类别视为负类。
    • 使用二分类 AdaBoost 方法训练每个 G k G_k Gk，并获得分类器的权重 α m \alpha_m αm 。

  2. 预测过程:

    • 对于新样本 x x x ，通过所有分类器 G k G_k Gk 进行预测，选择得分最高的分类器 G k G_k Gk 的类别作为最终预测结果：
      y ^ = arg ⁡ max ⁡ k G k ( x ) \hat{y} = \arg\max_k G_k(x) y^=argkmaxGk(x)

通俗解释:

对于每个类别，训练一个分类器来区分该类别和其他类别。最后，通过比较所有分类器的预测得分，选择得分最高的类别作为最终分类结果。

AdaBoost.MH (Multiclass, Multi-Label)

数学原理:

  1. 初始化权重:

    • 对于每个样本 i i i 和每个类别 k k k ，初始化权重 w ˉ i , k = 1 \bar{w}_{i,k} = 1 wˉi,k=1 。

  2. 迭代过程:

    • 对于每一轮 m m m ，针对每个类别 k k k 和每个样本 i i i，定义权重：
      w ˉ i , k = exp ⁡ [ − y i , k f m − 1 ( x i , k ) ] \bar{w}{i,k} = \exp\left[-y{i,k} f_{m-1}(x_i, k)\right] wˉi,k=exp[−yi,kfm−1(xi,k)]
    • 更新分类器 G m G_m Gm 使得加权误差最小：
      G m = arg ⁡ min ⁡ G ∑ i = 1 N ∑ k = 1 K w ˉ i , k I ( y i , k ≠ G ( x i , k ) ) G_m = \arg\min_G \sum_{i=1}^{N} \sum_{k=1}^{K} \bar{w}{i,k} I(y{i,k} \ne G(x_i, k)) Gm=argGmini=1∑Nk=1∑Kwˉi,kI(yi,k=G(xi,k))
    • 计算误差率 ϵ m \epsilon_m ϵm 和分类器权重 α m \alpha_m αm ，更新样本权重，归一化权重，类似二分类 AdaBoost。

  3. 最终分类器:

    • 最终分类器 F ( x ) F(x) F(x) 是所有弱分类器的加权和：
      F ( x ) = ∑ m = 1 M α m G m ( x ) F(x) = \sum_{m=1}^{M} \alpha_m G_m(x) F(x)=m=1∑MαmGm(x)

通俗解释:

将多分类问题视为多个二分类问题，并通过调整样本权重来增强分类效果。每个类别都有独立的权重，最终通过加权求和得到最终分类结果。

AdaBoost.MR (Multiclass Ranking)

数学原理:

  1. 初始化权重:

    • 对于每个样本 i i i 和每个类别 k k k ，初始化权重 w ˉ i , k = 1 \bar{w}_{i,k} = 1 wˉi,k=1 。

  2. 迭代过程:

    • 在每轮迭代中，更新分类器 G m G_m Gm 使得加权误差最小，并基于对样本排序的思想选择最佳分类器：
      G m = arg ⁡ min ⁡ G ∑ i = 1 N ∑ k = 1 K w ˉ i , k I ( y i , k ≠ G ( x i , k ) ) G_m = \arg\min_G \sum_{i=1}^{N} \sum_{k=1}^{K} \bar{w}{i,k} I(y{i,k} \ne G(x_i, k)) Gm=argGmini=1∑Nk=1∑Kwˉi,kI(yi,k=G(xi,k))
    • 计算误差率 ϵ m \epsilon_m ϵm 和分类器权重 α m \alpha_m αm ，更新样本权重，归一化权重，类似二分类 AdaBoost。

  3. 最终分类器:

    • 最终分类器 F ( x ) F(x) F(x) 是所有弱分类器的加权和：
      F ( x ) = ∑ m = 1 M α m G m ( x ) F(x) = \sum_{m=1}^{M} \alpha_m G_m(x) F(x)=m=1∑MαmGm(x)

通俗解释:

基于对样本的排序，将多个分类器的输出进行排序，选择得分最高的类别作为最终预测结果。

逻辑回归

将 AdaBoost 与逻辑回归结合，可以通过每轮迭代增加一个逻辑回归分类器来增强模型的能力。

数学原理:

  1. 初始化： 给定训练数据 ( x i , y i ) (x_i, y_i) (xi,yi)，初始权重 w i = 1 N w_i = \frac{1}{N} wi=N1。
  2. 迭代过程：
    • 对于每一轮 m m m ，训练逻辑回归模型 G m G_m Gm：
      G m ( x ) = 1 1 + exp ⁡ ( − β m h m ( x ) ) G_m(x) = \frac{1}{1 + \exp(-\beta_m h_m(x))} Gm(x)=1+exp(−βmhm(x))1
    • 更新权重：
      w ˉ i = w i exp ⁡ [ − y i G m ( x i ) ] \bar{w}_{i} = w_i \exp\left[-y_i G_m(x_i)\right] wˉi=wiexp[−yiGm(xi)]
    • 归一化权重：
      w i = w ˉ i ∑ j = 1 N w ˉ j w_i = \frac{\bar{w}i}{\sum{j=1}^{N} \bar{w}_j} wi=∑j=1Nwˉjwˉi

通俗解释:

逻辑回归是一种用来预测二分类问题的模型。将逻辑回归与 AdaBoost 结合，可以通过逐步增加多个逻辑回归模型来提高整体的预测性能。在每轮迭代中，增加一个新的逻辑回归模型，并根据上一个模型的预测结果调整样本的权重，使得模型更关注那些被错误分类的样本。

2. 训练中选择不同的分类器

AdaBoost 是一种增强学习算法，通过组合多个弱分类器来提高分类性能。这里我们详细描述如何在 AdaBoost 中应用决策树桩、朴素贝叶斯和支持向量机（SVM）作为基础分类器，并解释其数学原理和实现方法。

1. 决策树桩

数学原理:

决策树桩是非常简单的决策树，通常只包含一个决策节点和两个叶节点。它是 AdaBoost 中常用的基础分类器。

步骤:

  1. 初始化权重:

    • 初始化每个样本的权重为 w i = 1 N w_i = \frac{1}{N} wi=N1，其中 N N N 是样本数。

  2. 迭代过程:

    • 对于每一轮 m m m，训练一个新的决策树桩 G m G_m Gm：
      G m ( x ) = arg ⁡ min ⁡ G ∑ i = 1 N w i I ( y i ≠ G ( x i ) ) G_m(x) = \arg\min_{G} \sum_{i=1}^{N} w_i I(y_i \ne G(x_i)) Gm(x)=argGmini=1∑NwiI(yi=G(xi))
    • 计算误差率 ϵ m \epsilon_m ϵm：
      ϵ m = ∑ i = 1 N w i I ( y i ≠ G m ( x i ) ) \epsilon_m = \sum_{i=1}^{N} w_i I(y_i \ne G_m(x_i)) ϵm=i=1∑NwiI(yi=Gm(xi))
    • 计算分类器的权重 α m \alpha_m αm：
      α m = 1 2 ln ⁡ ( 1 − ϵ m ϵ m ) \alpha_m = \frac{1}{2} \ln\left(\frac{1 - \epsilon_m}{\epsilon_m}\right) αm=21ln(ϵm1−ϵm)
    • 更新样本权重：
      w i ← w i exp ⁡ ( − α m y i G m ( x i ) ) w_i \leftarrow w_i \exp\left(-\alpha_m y_i G_m(x_i)\right) wi←wiexp(−αmyiGm(xi))
    • 归一化权重：
      w i ← w i ∑ j = 1 N w j w_i \leftarrow \frac{w_i}{\sum_{j=1}^{N} w_j} wi←∑j=1Nwjwi

  3. 最终分类器:

    • 最终分类器 F ( x ) F(x) F(x) 是所有弱分类器的加权和：
      F ( x ) = ∑ m = 1 M α m G m ( x ) F(x) = \sum_{m=1}^{M} \alpha_m G_m(x) F(x)=m=1∑MαmGm(x)

通俗解释:

在每一轮迭代中，选择一个简单的决策树桩作为弱分类器，然后根据该分类器的表现来调整样本的权重，使得分类错误的样本权重增加。在下一轮迭代中，新的分类器将更关注这些错误分类的样本。最终，将所有弱分类器的结果加权求和得到最终分类结果。

2. 朴素贝叶斯

数学原理:

朴素贝叶斯假设特征之间相互独立，使用贝叶斯定理计算类别的后验概率。

步骤:

  1. 初始化权重:

    • 初始化每个样本的权重为 w i = 1 N w_i = \frac{1}{N} wi=N1，其中 N N N 是样本数。

  2. 迭代过程:

    • 对于每一轮 m m m，训练一个新的朴素贝叶斯分类器 G m G_m Gm：
      G m ( x ) = arg ⁡ max ⁡ y P ( y ∣ x ) = arg ⁡ max ⁡ y P ( x ∣ y ) P ( y ) P ( x ) G_m(x) = \arg\max_{y} P(y | x) = \arg\max_{y} \frac{P(x | y) P(y)}{P(x)} Gm(x)=argymaxP(y∣x)=argymaxP(x)P(x∣y)P(y)
    • 计算误差率 ϵ m \epsilon_m ϵm 和分类器权重 α m \alpha_m αm，更新样本权重，归一化权重，类似决策树桩。

  3. 最终分类器:

    • 最终分类器 F ( x ) F(x) F(x) 是所有弱分类器的加权和：
      F ( x ) = ∑ m = 1 M α m G m ( x ) F(x) = \sum_{m=1}^{M} \alpha_m G_m(x) F(x)=m=1∑MαmGm(x)

通俗解释:

朴素贝叶斯假设所有特征独立，并根据训练数据计算每个类别的概率。在每一轮迭代中，使用新的朴素贝叶斯分类器进行分类，并调整样本权重，使得错误分类的样本在下一轮中更加重要。最终将所有分类器的结果加权求和得到最终分类结果。

3. 支持向量机 (SVM)

数学原理:

SVM 通过找到一个超平面来最大化类间间隔，从而实现分类。

步骤:

  1. 初始化权重:

    • 初始化每个样本的权重为 w i = 1 N w_i = \frac{1}{N} wi=N1，其中 N N N 是样本数。

  2. 迭代过程:

    • 对于每一轮 m m m，训练一个新的 SVM 分类器 G m G_m Gm，目标是最大化类间间隔：
      min ⁡ w 1 2 ∥ w ∥ 2 subject to y i ( w ⋅ x i + b ) ≥ 1 \min_w \frac{1}{2} \|w\|^2 \quad \text{subject to} \quad y_i (w \cdot x_i + b) \ge 1 wmin21∥w∥2subject toyi(w⋅xi+b)≥1
    • 使用样本权重 w i w_i wi 进行加权训练，使得 SVM 更关注权重较大的样本。
    • 计算误差率 ϵ m \epsilon_m ϵm 和分类器权重 α m \alpha_m αm，更新样本权重，归一化权重，类似决策树桩。

  3. 最终分类器:

    • 最终分类器 F ( x ) F(x) F(x) 是所有弱分类器的加权和：
      F ( x ) = ∑ m = 1 M α m G m ( x ) F(x) = \sum_{m=1}^{M} \alpha_m G_m(x) F(x)=m=1∑MαmGm(x)

通俗解释:

SVM 寻找一个能够最大化类间间隔的超平面来进行分类。在每一轮迭代中，使用加权的样本训练新的 SVM 分类器，使得错误分类的样本在下一轮中更加重要。最终将所有分类器的结果加权求和得到最终分类结果。

结论

在 AdaBoost 中，可以选择不同的基础分类器，如决策树桩、朴素贝叶斯和 SVM。每种分类器有其独特的训练方式和优势。通过逐轮训练新的基础分类器，并根据误分类调整样本权重，AdaBoost 能够逐步增强分类性能，最终得到一个强分类器。

好的，让我们更深入地探讨在同一个训练中使用不同分类器的过程，并结合具体实例进行详细分析。

3. 在同一个训练中使用不同的分类器

在 AdaBoost 中使用不同类型的分类器，称为 混合增强学习（Hybrid Boosting） 。这种方法在某些情况下可以提高分类性能。

应用场景和必要性

  1. 复杂数据集:

    • 对于复杂的数据集，不同的分类器可能在不同的数据子集上表现优异。混合使用不同的分类器可以综合利用各分类器的优势。

  2. 提高泛化能力:

    • 混合分类器可以减少单一分类器的偏差和方差，从而提高模型的泛化能力。

  3. 适应性:

    • 不同的分类器可能对不同的特征类型更敏感。通过混合分类器，可以更好地捕捉数据的不同特征。

数学原理和实现

以一个具体实例进行详细分析，假设我们要分类一个包含三类的复杂数据集，其中特征类型多样。

初始化权重

  1. 初始化权重:
    • 对于每个样本 i i i ，初始化权重 w i = 1 N w_i = \frac{1}{N} wi=N1 ，其中 N N N 是样本总数。

迭代过程

假设我们有三个基础分类器：决策树桩（Tree Stump），朴素贝叶斯（Naive Bayes），支持向量机（SVM）。在每轮迭代中，我们选择不同的分类器来训练模型。

  1. 第一轮：决策树桩

    • 训练决策树桩 G 1 G_1 G1 ，计算误差率 ϵ 1 \epsilon_1 ϵ1：
      ϵ 1 = ∑ i = 1 N w i I ( y i ≠ G 1 ( x i ) ) \epsilon_1 = \sum_{i=1}^{N} w_i I(y_i \ne G_1(x_i)) ϵ1=i=1∑NwiI(yi=G1(xi))
    • 计算分类器权重 α 1 \alpha_1 α1：
      α 1 = 1 2 ln ⁡ ( 1 − ϵ 1 ϵ 1 ) \alpha_1 = \frac{1}{2} \ln\left(\frac{1 - \epsilon_1}{\epsilon_1}\right) α1=21ln(ϵ11−ϵ1)
    • 更新样本权重：
      w i ← w i exp ⁡ ( − α 1 y i G 1 ( x i ) ) w_i \leftarrow w_i \exp\left(-\alpha_1 y_i G_1(x_i)\right) wi←wiexp(−α1yiG1(xi))
    • 归一化权重：
      w i ← w i ∑ j = 1 N w j w_i \leftarrow \frac{w_i}{\sum_{j=1}^{N} w_j} wi←∑j=1Nwjwi

  2. 第二轮：朴素贝叶斯

    • 使用更新后的样本权重，训练朴素贝叶斯分类器 G 2 G_2 G2，计算误差率 ϵ 2 \epsilon_2 ϵ2 ：
      ϵ 2 = ∑ i = 1 N w i I ( y i ≠ G 2 ( x i ) ) \epsilon_2 = \sum_{i=1}^{N} w_i I(y_i \ne G_2(x_i)) ϵ2=i=1∑NwiI(yi=G2(xi))
    • 计算分类器权重 α 2 \alpha_2 α2：
      α 2 = 1 2 ln ⁡ ( 1 − ϵ 2 ϵ 2 ) \alpha_2 = \frac{1}{2} \ln\left(\frac{1 - \epsilon_2}{\epsilon_2}\right) α2=21ln(ϵ21−ϵ2)
    • 更新样本权重：
      w i ← w i exp ⁡ ( − α 2 y i G 2 ( x i ) ) w_i \leftarrow w_i \exp\left(-\alpha_2 y_i G_2(x_i)\right) wi←wiexp(−α2yiG2(xi))
    • 归一化权重：
      w i ← w i ∑ j = 1 N w j w_i \leftarrow \frac{w_i}{\sum_{j=1}^{N} w_j} wi←∑j=1Nwjwi

  3. 第三轮：支持向量机

    • 使用更新后的样本权重，训练支持向量机 G 3 G_3 G3 ，计算误差率 ϵ 3 \epsilon_3 ϵ3 ：
      ϵ 3 = ∑ i = 1 N w i I ( y i ≠ G 3 ( x i ) ) \epsilon_3 = \sum_{i=1}^{N} w_i I(y_i \ne G_3(x_i)) ϵ3=i=1∑NwiI(yi=G3(xi))
    • 计算分类器权重 α 3 \alpha_3 α3 ：
      α 3 = 1 2 ln ⁡ ( 1 − ϵ 3 ϵ 3 ) \alpha_3 = \frac{1}{2} \ln\left(\frac{1 - \epsilon_3}{\epsilon_3}\right) α3=21ln(ϵ31−ϵ3)
    • 更新样本权重：
      w i ← w i exp ⁡ ( − α 3 y i G 3 ( x i ) ) w_i \leftarrow w_i \exp\left(-\alpha_3 y_i G_3(x_i)\right) wi←wiexp(−α3yiG3(xi))
    • 归一化权重：
      w i ← w i ∑ j = 1 N w j w_i \leftarrow \frac{w_i}{\sum_{j=1}^{N} w_j} wi←∑j=1Nwjwi

最终分类器

最终分类器 F ( x ) F(x) F(x) 是所有弱分类器的加权和：

F ( x ) = ∑ m = 1 M α m G m ( x ) F(x) = \sum_{m=1}^{M} \alpha_m G_m(x) F(x)=m=1∑MαmGm(x)

示例分析

假设我们有一个包含 10 个样本的数据集（简化为演示），每个样本具有两个特征，目标是将这些样本分类为三类（1, 2, 3）。

初始化权重

初始化所有样本的权重 w i = 1 10 = 0.1 w_i = \frac{1}{10} = 0.1 wi=101=0.1 。

第一轮迭代：决策树桩

  1. 训练一个简单的决策树桩，得到分类器 G 1 G_1 G1。
  2. 计算分类误差率 ϵ 1 \epsilon_1 ϵ1，假设 ϵ 1 = 0.3 \epsilon_1 = 0.3 ϵ1=0.3 。
  3. 计算分类器权重 α 1 \alpha_1 α1：
    α 1 = 1 2 ln ⁡ ( 1 − 0.3 0.3 ) ≈ 0.4236 \alpha_1 = \frac{1}{2} \ln\left(\frac{1 - 0.3}{0.3}\right) \approx 0.4236 α1=21ln(0.31−0.3)≈0.4236
  4. 更新样本权重 w i w_i wi 并归一化。

第二轮迭代：朴素贝叶斯

  1. 使用更新后的样本权重，训练朴素贝叶斯分类器 G 2 G_2 G2。
  2. 计算分类误差率 ϵ 2 \epsilon_2 ϵ2，假设 ϵ 2 = 0.25 \epsilon_2 = 0.25 ϵ2=0.25 。
  3. 计算分类器权重 α 2 \alpha_2 α2 ：
    α 2 = 1 2 ln ⁡ ( 1 − 0.25 0.25 ) ≈ 0.5493 \alpha_2 = \frac{1}{2} \ln\left(\frac{1 - 0.25}{0.25}\right) \approx 0.5493 α2=21ln(0.251−0.25)≈0.5493
  4. 更新样本权重 w i w_i wi 并归一化。

第三轮迭代：支持向量机

  1. 使用更新后的样本权重，训练支持向量机 G 3 G_3 G3。
  2. 计算分类误差率 ϵ 3 \epsilon_3 ϵ3，假设 ϵ 3 = 0.2 \epsilon_3 = 0.2 ϵ3=0.2 。
  3. 计算分类器权重 α 3 \alpha_3 α3：
    α 3 = 1 2 ln ⁡ ( 1 − 0.2 0.2 ) ≈ 0.6931 \alpha_3 = \frac{1}{2} \ln\left(\frac{1 - 0.2}{0.2}\right) \approx 0.6931 α3=21ln(0.21−0.2)≈0.6931
  4. 更新样本权重 w i w_i wi 并归一化。

最终分类器

最终分类器 F ( x ) F(x) F(x) 是所有弱分类器的加权和：

F ( x ) = 0.4236 G 1 ( x ) + 0.5493 G 2 ( x ) + 0.6931 G 3 ( x ) F(x) = 0.4236 G_1(x) + 0.5493 G_2(x) + 0.6931 G_3(x) F(x)=0.4236G1(x)+0.5493G2(x)+0.6931G3(x)

通过这种方法，我们可以综合利用不同分类器的优势，提升模型的整体性能。在每轮迭代中，选择最适合当前数据的分类器，通过加权方式得到更准确的最终分类结果。

通俗解释

在每一轮迭代中，选择一个不同的分类器来训练模型。每个分类器在其擅长的数据子集上表现良好。根据每个分类器的表现，调整样本权重，使得分类错误的样本在下一轮中更加重要。最终，将所有分类器的结果加权求和得到最终分类结果。通过混合使用不同的分类器，可以充分利用各分类器的优势，提升整体模型的性能。

结论

通过使用混合增强学习，我们可以在同一个训练中使用不同的分类器（如决策树桩、朴素贝叶斯、SVM 等），提高模型的分类性能。通过具体实例分析，我们可以看到在每一轮迭代中，选择不同的分类器并调整样本权重，从而优化最终模型。这种方法在复杂数据集和不同特征类型的情况下特别有效。

相关推荐
小馒头学python几秒前
机器学习是什么？AIGC又是什么？机器学习与AIGC未来科技的双引擎
人工智能·python·机器学习
正义的彬彬侠12 分钟前
《XGBoost算法的原理推导》12-14决策树复杂度的正则化项 公式解析
人工智能·决策树·机器学习·集成学习·boosting·xgboost
羊小猪~~29 分钟前
神经网络基础--什么是正向传播？？什么是方向传播？？
人工智能·pytorch·python·深度学习·神经网络·算法·机器学习
正义的彬彬侠1 小时前
【scikit-learn 1.2版本后】sklearn.datasets中load_boston报错 使用 fetch_openml 函数来加载波士顿房价
python·机器学习·sklearn
资源补给站2 小时前
论文2—《基于柔顺控制的智能神经导航手术机器人系统设计》文献阅读分析报告
机器学习·机器人·手术机器人
武子康2 小时前
大数据-212 数据挖掘 机器学习理论 - 无监督学习算法 KMeans 基本原理 簇内误差平方和
大数据·人工智能·学习·算法·机器学习·数据挖掘
___Dream2 小时前
【CTFN】基于耦合翻译融合网络的多模态情感分析的层次学习
人工智能·深度学习·机器学习·transformer·人机交互
西柚小萌新4 小时前
8.机器学习--决策树
人工智能·决策树·机器学习
浮生如梦_9 小时前
Halcon基于laws纹理特征的SVM分类
图像处理·人工智能·算法·支持向量机·计算机视觉·分类·视觉检测
阡之尘埃12 小时前
Python数据分析案例61——信贷风控评分卡模型(A卡)（scorecardpy 全面解析）
人工智能·python·机器学习·数据分析·智能风控·信贷风控
热门推荐
01【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总02(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明03组基轨迹建模 GBTM的介绍与实现（Stata 或 R）04【AIGC】重塑未来的科技巨轮05全面解析：构建基于深度学习的安全帽检测系统（UI界面+YOLO代码+数据集）06【经验分享】Ubuntu22.04安装微信(linux官方版)07基于YOLOv10深度学习的CT扫描图像肾结石智能检测系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标检测08Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO09RAG 实践- Ollama+RagFlow 部署本地知识库10【TC3xx芯片】TC3xx芯片电源管理系统PMS详解