机器学习理论基础—集成学习(1)

机器学习理论基础---集成学习

个体与集成

集成学习通过构建并结合多个学习器来完成学习任务,有时也称为多分类系统等。

分类: 根据集成学习中的个体学习器的不同可以分为同质集成(集成的学习器相同例如全部是决策树),和异质集成(集成的学习器包括多种,例如决策树神经网络SVM等)。

  • 同质集成中的学习器称为:基学习器
  • 异质集成中的学习器称为:组件学习器(或个体学习器
  • 弱学习器指的是泛化性能略优于随机猜想的学习器(例如二分类问题中精度略高于50%

集成举例

样本一,样本二,样本三的label值都为1时(共三种情况)

首先集成学习的结果通过投票法产生,即少数服从多数的原则

  1. 第一种情况:每个分类器都有66.6%的精度值经过集成学习之后提高了性能
  2. 第二种情况:每个分类器都有33.3%的精度值经过集成学习之后结果变差了
  3. 第三种情况:三个分类器没有差别集成的结果保持不变

总结: 集成学习器应该满足的两个基本条件是好而不同的。

集成个体学习器的收敛性保证

参数说明:

  • F(x)集成了多个学习器的集成学习最后结果
  • f(x)样本x的真实标签
  • T个体学习器的数量
  • &个体学习器的误差

解读:k个学习器成功预测样本x的概率

两个基本结论:

  1. 收敛速率随着个体学习器数量T呈指数下降
  2. ∈ =0.5的个体集成器对收敛没有作用

引入推导过程Hoeffing不等式(霍夫丁不等式

分类

根据个体学习器的生成方式的不同分为两大类

  1. 存在强依赖关系的(Boosting
  2. 不存在强的依赖关系的(随机森林)
2.2 算法原理
2.2.1 核心思想

需要解决的问题:

①在每一轮训练中,如何对训练样本的权值分布进行调整?

②如何确定各个基学习器"加权"结合的权重?

AdaBoost 的解决思路:

通过 分类器权重公式 来确定 各个基学习器的权重;通过 样本分布更新公式 来确定 各轮训练中的样本分布。

①在确定各个基学习器的权重时:

加大"分类误差率"小的弱分类器的权值,使其在表决中发挥较大作用;减小"分类误差率"大的弱分类器的权值,使其在表决中发挥较小作用。(直观而言:比较"菜"的学习器,权重应该小一些;比较"好"的学习器,权重应该大一些。)

②在确定各轮训练中的样本分布时:

提高那些被前一轮弱分类器错误分类样本的权值,降低那些被正确分类的样本的权值。(例如,假设我们在第 K 次得到的弱学习器,在某个样本上的分类结果出现错误,那么我们自然希望:第 K+1 次产生的弱学习器应该更加关注这个样本,使其尽可能地划分正确。)

2.2.2 分类情景介绍

下面我们从公式的角度推导 AdaBoost 的算法原理。为了防止公式混乱,我们给公式添加与《机器学习(周志华)》相同的编号;没有编号的公式是我们的推导过程。

AdaBoost 算法的训练目标是:基于"加性模型",最小化指数损失函数

注意,我们在这里讨论的是二分类问题,其中训练样本集的 y i ∈ { − 1 , + 1 } y_i\in\{-1,+1\} yi∈{−1,+1} , f f f 是真实函数。对于样本 x x x 来说,真实值 f ( x ) ∈ { − 1 , + 1 } f(x)\in\{-1,+1\} f(x)∈{−1,+1},每个基学习器的预测值 h i ( x ) ∈ { − 1 , + 1 } h_i(x)\in\{-1,+1\} hi(x)∈{−1,+1},假定基分类器的错误率为 ϵ \epsilon ϵ,即对每个基分类器 h i h_i hi 有:
P ( h i ( x ) ≠ f ( x ) ) = ϵ (8.1) P(h_i(x)\neq f(x))=\epsilon \tag{8.1} P(hi(x)=f(x))=ϵ(8.1)

假设集成通过简单投票法结合 T T T 个基分类器,若有超过半数的基分类器正确,则集成分类就正确;集成分类的结果 F 简单投票 ( x ) F_{简单投票}(x) F简单投票(x) 为:
F 简单投票 ( x ) = s i g n ( ∑ i = 1 T h i ( x ) ) (8.2) F_{简单投票}(x)=\mathrm{sign}\Big(\sum\limits_{i=1}^{T}h_i(x)\Big) \tag{8.2} F简单投票(x)=sign(i=1∑Thi(x))(8.2)
"加性模型" (additive model),即基学习器的线性组合 H ( x ) H(x) H(x):
H ( x ) = ∑ t = 1 T α t h t ( x ) (8.4) H(x)=\sum\limits_{t=1}^T\alpha_{t}h_{t}(x) \tag{8.4} H(x)=t=1∑Tαtht(x)(8.4)

其中, α t \alpha_t αt 表示基分类器的权重,因为 AdaBoost 并不使用简单投票法,而是"加权表决法",即让基学习器具有不同的权值:
F ( x ) = s i g n ( H ( x ) ) = s i g n ( ∑ t = 1 T α t h t ( x ) ) F(x)=\mathrm{sign}(H(x))=\mathrm{sign}\Big(\sum\limits_{t=1}^T\alpha_{t}h_{t}(x)\Big) F(x)=sign(H(x))=sign(t=1∑Tαtht(x))

**"指数损失函数"**的定义为:
l e x p ( H ∣ D ) = E x ∼ D [ e − f ( x ) H ( x ) ] (8.5) \mathscr{l}{exp}(H\mid D)=\mathbb{E}{x\sim D}[e^{-f(x)H(x)}]\tag{8.5} lexp(H∣D)=Ex∼D[e−f(x)H(x)](8.5)

其中, x ∼ D x\sim D x∼D 表示概率分布 D ( x ) D(x) D(x), E \mathbb{E} E 表示期望。

例如,下面的表格就列出了一个分布 D ( x ) D(x) D(x):

序号 i i i 1 2 3 4 5 6 7 8 9 10
数据 x x x 0 1 2 3 4 5 6 7 8 9
类别标签 y = f ( x ) y=f(x) y=f(x) 1 1 1 -1 -1 -1 1 1 1 -1
权值分布 D D D 0.1 0.05 0.05 0.2 0.1 0.1 0.1 0.1 0.1 0.1

对于这里出现的"指数损失函数",我们直观地理解一下使用它的合理性,随后在 2.2.2 节中说明使用它的正确性。

先考虑指数损失函数 e − f ( x ) H ( x ) e^{-f(x)H(x)} e−f(x)H(x) 的含义: f f f 为真实函数,对于样本 x x x 来说, f ( x ) ∈ { − 1 , + 1 } f(x)\in\{-1,+1\} f(x)∈{−1,+1},只能取 -1 和 +1,而 H ( x ) H(x) H(x) 是一个实数,表示集成学习器的预测结果。当 H ( x ) H(x) H(x) 的符号与 f ( x ) f(x) f(x) 一致时, f ( x ) H ( x ) > 0 f(x)H(x)\gt 0 f(x)H(x)>0,因此, e − f ( x ) H ( x ) = e − ∣ H ( x ) ∣ < 1 e^{-f(x)H(x)}=e^{-|H(x)|}\lt 1 e−f(x)H(x)=e−∣H(x)∣<1,且 ∣ H ( x ) ∣ |H(x)| ∣H(x)∣ 越大指数损失函数 e − f ( x ) H ( x ) e^{-f(x)H(x)} e−f(x)H(x) 越小,(这很合理:此时 ∣ H ( x ) ∣ |H(x)| ∣H(x)∣ 越大意味着分类器本身对预测结果的信心越大,损失应该越小;若 ∣ H ( x ) ∣ |H(x)| ∣H(x)∣ 在零附近,虽然预测正确,但表示分类器本身对预测结果的信心很小,损失应该越大);当 H ( x ) H(x) H(x) 的符号与 f ( x ) f(x) f(x) 不一致时, f ( x ) H ( x ) < 0 f(x)H(x)\lt 0 f(x)H(x)<0,因此, e − f ( x ) H ( x ) = e ∣ H ( x ) ∣ > 1 e^{-f(x)H(x)}=e^{|H(x)|}\gt 1 e−f(x)H(x)=e∣H(x)∣>1,且 ∣ H ( x ) ∣ |H(x)| ∣H(x)∣ 越大,损失函数越大,(这很合理:因为此时 ∣ H ( x ) ∣ |H(x)| ∣H(x)∣ 越大意味着分类器本身对预测结果的信心越大,但预测结果是错的,因此损失应该越大;若 ∣ H ( x ) ∣ |H(x)| ∣H(x)∣ 在零附近,虽然预测错误,但表示分类器本身对预测结果的信心很小,虽然错了,损失应该很小)。

同时,我们不难得到两个工具公式 (注意 f ( x ) f(x) f(x) 是真实函数,也就是上表中 x x x 所对应的 y y y 的值):
E x ∼ D [ f ( x ) ] = ∑ x ∈ D D ( x ) f ( x ) (工具公式1) \mathbb{E}{x\sim D}[f(x)]=\sum\limits{x\in D}D(x)f(x)\tag{工具公式1} Ex∼D[f(x)]=x∈D∑D(x)f(x)(工具公式1)

∑ i = 1 ∣ D ∣ D ( x i ) I ( f ( x i ) = 1 ) = P ( f ( x i ) = 1 ∣ x i ) (工具公式2) \sum\limits_{i=1}^{|D|}D(x_i)\mathbb{I}(f(x_i)=1)=P(f(x_i)=1\mid x_i)\tag{工具公式2} i=1∑∣D∣D(xi)I(f(xi)=1)=P(f(xi)=1∣xi)(工具公式2)

这里我们引入"指示函数"的概念, I ( ⋅ ) = { 1 ; ⋅ 为真 0 ; ⋅ 为假 \mathbb{I}(\cdot)=\begin{cases}{1};\quad \cdot\ 为真\\{0};\quad \cdot\ 为假\end{cases} I(⋅)={1;⋅ 为真0;⋅ 为假

2.2.3 使用"指数损失函数"的正确性

下面,我们从数学角度说明使用"指数损失函数"的正确性。

若集成学习器 H ( x ) H(x) H(x) 能令指数损失函数最小化,则考虑式(8.5)对 H ( x ) H(x) H(x) 的偏导:
∂ l e x p ( H ∣ D ) ∂ H ( x ) = − e − H ( x ) P ( f ( x ) = 1 ∣ x ) + e H ( x ) P ( f ( x ) = − 1 ∣ x ) (8.6) \dfrac{\partial\mathscr{l}_{exp}(H\mid D)}{\partial H(x)}=-e^{-H(x)}P(f(x)=1\mid x)+e^{H(x)}P(f(x)=-1\mid x)\tag{8.6} ∂H(x)∂lexp(H∣D)=−e−H(x)P(f(x)=1∣x)+eH(x)P(f(x)=−1∣x)(8.6)

式(8.6)的具体推导过程为:

将工具公式1代入式(8.5):
l e x p ( H ∣ D ) = E x ∼ D [ e − f ( x ) H ( x ) ] = ∑ x ∈ D D ( x ) e − f ( x ) H ( x ) \mathscr{l}{exp}(H\mid D)=\mathbb{E}{x\sim D}[e^{-f(x)H(x)}]=\sum\limits_{x\in D}D(x)e^{-f(x)H(x)} lexp(H∣D)=Ex∼D[e−f(x)H(x)]=x∈D∑D(x)e−f(x)H(x)

由于工具公式2:
∑ i = 1 ∣ D ∣ D ( x i ) I ( f ( x i ) = 1 ) = P ( f ( x i ) = 1 ∣ x i ) \sum\limits_{i=1}^{|D|}D(x_i)\mathbb{I}(f(x_i)=1)=P(f(x_i)=1\mid x_i) i=1∑∣D∣D(xi)I(f(xi)=1)=P(f(xi)=1∣xi)

又注意到 f ( x i ) ∈ { − 1 , + 1 } f(x_i)\in\{-1,+1\} f(xi)∈{−1,+1},所以:
∂ l e x p ( H ∣ D ) ∂ H ( x ) = ∑ i = 1 ∣ D ∣ D ( x i ) ( − e − H ( x i ) I ( f ( x i ) = 1 ) + e H ( x i ) I ( f ( x i ) = − 1 ) ) 分类讨论 ( 两种情形 ) = − e − H ( x i ) P ( f ( x i ) = 1 ∣ x i ) + e H ( x i ) P ( f ( x i ) = − 1 ∣ x i ) 由工具公式 2 得到 \begin{aligned} \dfrac{\partial \mathscr{l}{exp}(H\mid D)}{\partial H(x)}&=\sum\limits{i=1}^{|D|}D(x_i)\Big(-e^{-H(x_i)}\mathbb{I}(f(x_i)=1)+e^{H(x_i)}\mathbb{I}(f(x_i)=-1)\Big)&分类讨论(两种情形)\\ &=-e^{-H(x_i)}P(f(x_i)=1\mid x_i)+e^{H(x_i)}P(f(x_i)=-1\mid x_i)&由工具公式2得到 \end{aligned} ∂H(x)∂lexp(H∣D)=i=1∑∣D∣D(xi)(−e−H(xi)I(f(xi)=1)+eH(xi)I(f(xi)=−1))=−e−H(xi)P(f(xi)=1∣xi)+eH(xi)P(f(xi)=−1∣xi)分类讨论(两种情形)由工具公式2得到

式(8.6)的具体推导过程至此结束。

令式(8.6)为零,进行求解:
− e − H ( x ) P ( f ( x ) = 1 ∣ x ) + e H ( x ) P ( f ( x ) = − 1 ∣ x ) = 0 -e^{-H(x)}P(f(x)=1\mid x)+e^{H(x)}P(f(x)=-1\mid x)=0 −e−H(x)P(f(x)=1∣x)+eH(x)P(f(x)=−1∣x)=0

H ( x ) + l n ( P ( f ( x ) = − 1 ∣ x ) ) = − H ( x ) + l n ( P ( f ( x ) = 1 ∣ x ) ) H(x)+\mathrm{ln}(P(f(x)=-1\mid x))=-H(x)+\mathrm{ln}(P(f(x)=1\mid x)) H(x)+ln(P(f(x)=−1∣x))=−H(x)+ln(P(f(x)=1∣x))

可解得:
H ( x ) = 1 2 l n P ( f ( x ) = 1 ∣ x ) P ( f ( x ) = − 1 ∣ x ) (8.7) H(x)=\dfrac{1}{2}\mathrm{ln}\dfrac{P(f(x)=1\mid x)}{P(f(x)=-1\mid x)}\tag{8.7} H(x)=21lnP(f(x)=−1∣x)P(f(x)=1∣x)(8.7)

因此,有:
s i g n ( H ( x ) ) = s i g n ( 1 2 l n P ( f ( x ) = 1 ∣ x ) P ( f ( x ) = − 1 ∣ x ) ) = { 1 , P ( f ( x ) = 1 ∣ x ) > P ( f ( x ) = − 1 ∣ x ) − 1 , P ( f ( x ) = 1 ∣ x ) < P ( f ( x ) = − 1 ∣ x ) 这三行表达的是一个意思 = a r g m a x y ∈ { − 1 , 1 } P ( f ( x ) = y ∣ x ) (8.8) \begin{aligned} \mathrm{sign}(H(x))&=\mathrm{sign}\Big(\dfrac{1}{2}\mathrm{ln}\dfrac{P(f(x)=1\mid x)}{P(f(x)=-1\mid x)}\Big)\\ &=\begin{cases}{1},&{P(f(x)=1\mid x)\gt P(f(x)=-1\mid x)}\\{-1},&{P(f(x)=1\mid x)\lt P(f(x)=-1\mid x)}\end{cases}&这三行表达的是一个意思\\ &=\mathop {\mathrm{argmax}}\limits_{y\in\{-1,1\}}P(f(x)=y\mid x) \end{aligned} \tag{8.8} sign(H(x))=sign(21lnP(f(x)=−1∣x)P(f(x)=1∣x))={1,−1,P(f(x)=1∣x)>P(f(x)=−1∣x)P(f(x)=1∣x)<P(f(x)=−1∣x)=y∈{−1,1}argmaxP(f(x)=y∣x)这三行表达的是一个意思(8.8)

这意味着 s i g n ( H ( x ) ) \mathrm{sign}(H(x)) sign(H(x)) 达到了贝叶斯最优错误率(即对于每个样本 x x x 都选择后验概率最大的类别)。换言之,若指数损失函数最小化,则分类错误率也将最小化;这说明指数损失函数 是分类任务原本 0/1 损失函数的一致的(consistent)替代损失函数。由于这个替代损失函数有更好的数学性质,例如它是连续可微函数,因此我们用它替代 0/1 损失函数作为优化目标

至此,我们知道了使用"指数损失函数"的原因及其正确性。

2.2.4 分类器权重公式

下面,我们将从指数损失函数入手,推导 AdaBoost 算法的分类器权重公式。

在 AdaBoost 算法中,第一个基分类器 h 1 h_1 h1 是通过直接将基学习器算法用于初始数据分布而得;此后迭代地生成 h t h_t ht 和 α t \alpha_{t} αt,当基分类器 h t h_t ht 基于分布 D t D_t Dt 产生后,该基分类器的权重 α t \alpha_{t} αt 应使得 α t h t \alpha_{t}h_{t} αtht 最小化指数损失函数。

此时的指数损失函数:
l e x p ( α t h t ∣ D t ) = E x ∼ D t [ e − f ( x ) α t h t ( x ) ] 由定义式 ( 8.5 ) 得到 = E x ∼ D t [ e − α t I ( f ( x ) = h t ( x ) ) + e α t I ( f ( x ) ≠ h t ( x ) ) ] 分类讨论 ( 两种情形 ) = ∑ x ∈ D t D t ( x ) [ e − α t I ( f ( x ) = h t ( x ) ) + e α t I ( f ( x ) ≠ h t ( x ) ) ] 由工具公式 1 得到 = e − α t P x ∼ D t ( f ( x ) = h t ( x ) ) + e α t P x ∼ D t ( f ( x ) ≠ h t ( x ) ) 由工具公式 2 得到 = e − α t ( 1 − ϵ t ) + e α t ϵ t 错误率的定义 (8.9) \begin{aligned} \mathscr{l}{exp}(\alpha{t}h_{t}\mid D_{t})&=\mathbb{E}{x\sim D{t}}[e^{-f(x)\alpha_{t}h_t(x)}]&由定义式(8.5)得到\\ &=\mathbb{E}{x\sim D_t}[e^{-\alpha{t}}\mathbb{I}(f(x)=h_t(x))+e^{\alpha_t}\mathbb{I}(f(x)\neq h_t(x))]&分类讨论(两种情形)\\ &=\sum\limits_{x\in D_{t}}D_{t}(x)[e^{-\alpha_{t}}\mathbb{I}(f(x)=h_t(x))+e^{\alpha_t}\mathbb{I}(f(x)\neq h_t(x))]&由工具公式1得到\\ &=e^{-\alpha_{t}}P_{x\sim D_t}(f(x)=h_t(x))+e^{\alpha_{t}}P_{x\sim D_t}(f(x)\neq h_t(x))&由工具公式2得到\\ &=e^{-\alpha_t}(1-\epsilon_{t})+e^{\alpha_t}\epsilon_{t}&错误率的定义 \end{aligned}\tag{8.9} lexp(αtht∣Dt)=Ex∼Dt[e−f(x)αtht(x)]=Ex∼Dt[e−αtI(f(x)=ht(x))+eαtI(f(x)=ht(x))]=x∈Dt∑Dt(x)[e−αtI(f(x)=ht(x))+eαtI(f(x)=ht(x))]=e−αtPx∼Dt(f(x)=ht(x))+eαtPx∼Dt(f(x)=ht(x))=e−αt(1−ϵt)+eαtϵt由定义式(8.5)得到分类讨论(两种情形)由工具公式1得到由工具公式2得到错误率的定义(8.9)

其中,错误率 ϵ t = P x ∼ D t ( h t ( x ) ≠ f ( x ) ) \epsilon_{t}=P_{x\sim D_t}(h_t(x)\neq f(x)) ϵt=Px∼Dt(ht(x)=f(x))。

考虑指数损失函数的导数:
∂ l e x p ( α t h t ∣ D t ) ∂ α t = − e − α t ( 1 − ϵ t ) + e α t ϵ t 由式 ( 8.9 ) 对 α t 求偏导 (8.10) \begin{aligned} &\dfrac{\partial\mathscr{l}{exp}(\alpha{t}h_{t}\mid D_{t})}{\partial\alpha_t}=-e^{-\alpha_t}(1-\epsilon_t)+e^{\alpha_t}\epsilon_{t} &由式(8.9)对\alpha_{t}求偏导 \end{aligned}\tag{8.10} ∂αt∂lexp(αtht∣Dt)=−e−αt(1−ϵt)+eαtϵt由式(8.9)对αt求偏导(8.10)

令式(8.10)为零,进行求解:
− e − α t ( 1 − ϵ t ) + e α t ϵ t = 0 令式 ( 8.10 ) 为零 α t + l n ϵ t = − α t + l n ( 1 − ϵ t ) 移项后取对数 \begin{aligned} &-e^{-\alpha_{t}}(1-\epsilon_{t})+e^{\alpha_{t}}\epsilon_{t}=0&令式(8.10)为零\\ \\ &\alpha_{t}+\mathrm{ln}\epsilon_{t}=-\alpha_{t}+\mathrm{ln}(1-\epsilon_{t})&移项后取对数 \end{aligned} −e−αt(1−ϵt)+eαtϵt=0αt+lnϵt=−αt+ln(1−ϵt)令式(8.10)为零移项后取对数

可解得:
α t = 1 2 l n ( 1 − ϵ t ϵ t ) (8.11) \alpha_{t}=\dfrac{1}{2}\mathrm{ln}\Big(\dfrac{1-\epsilon_{t}}{\epsilon_{t}}\Big)\tag{8.11} αt=21ln(ϵt1−ϵt)(8.11)

至此,我们求得了 AdaBoost 算法的分类器权重公式。

2.2.5 样本分布更新公式

下面,我们推导 AdaBoost 算法的样本分布更新公式。

AdaBoost 算法在获得 H t − 1 H_{t-1} Ht−1 之后样本分布将进行调整,使下一轮的基学习器 h t h_t ht 能纠正 H t − 1 H_{t-1} Ht−1 的一些错误。

理想的 h t h_t ht 能纠正 H t − 1 H_{t-1} Ht−1 的全部错误,又因为 H ( x ) = H t − 1 ( x ) + α t h t ( x ) H(x)=H_{t-1}(x)+\alpha_{t}h_t(x) H(x)=Ht−1(x)+αtht(x)。

因此,我们希望最小化 l e x p ( H t − 1 + α t h t ∣ D ) \mathscr{l}{exp}(H{t-1}+\alpha_{t}h_{t}\mid D) lexp(Ht−1+αtht∣D),可以简化为,最小化:
l e x p ( H t − 1 + h t ∣ D ) = E x ∼ D [ e − f ( x ) ( H t − 1 ( x ) + h t ( x ) ) ] = E x ∼ D [ e − f ( x ) H t − 1 ( x ) e − f ( x ) h t ( x ) ] (8.12) \begin{aligned} \mathscr{l}{exp}(H{t-1}+h_t\mid D)&=\mathbb{E}{x\sim D}[e^{-f(x)(H{t-1}(x)+h_t(x))}]\\ &=\mathbb{E}{x\sim D}[e^{-f(x)H{t-1}(x)}e^{-f(x)h_t(x)}] \end{aligned}\tag{8.12} lexp(Ht−1+ht∣D)=Ex∼D[e−f(x)(Ht−1(x)+ht(x))]=Ex∼D[e−f(x)Ht−1(x)e−f(x)ht(x)](8.12)

对式(8.12)使用 e − f ( x ) h t ( x ) e^{-f(x)h_t(x)} e−f(x)ht(x) 的泰勒展式近似:

使用到的泰勒展开式: e x ∼ 1 + x + 1 2 x 2 + o ( x 2 ) e^x\sim1+x+\dfrac{1}{2}x^{2}+o(x^2) ex∼1+x+21x2+o(x2)

可得:
l e x p ( H t − 1 + h t ∣ D ) ≃ E x ∼ D [ e − f ( x ) H t − 1 ( x ) ( 1 − f ( x ) h t ( x ) + f 2 ( x ) h t 2 ( x ) 2 ) ] \mathscr{l}{exp}(H{t-1}+h_t\mid D)\simeq\mathbb{E}{x\sim D}\Big[e^{-f(x)H{t-1}(x)}\Big(1-f(x)h_t(x)+\dfrac{f^2(x)h_t^2(x)}{2}\Big)\Big] lexp(Ht−1+ht∣D)≃Ex∼D[e−f(x)Ht−1(x)(1−f(x)ht(x)+2f2(x)ht2(x))]

又因为 f 2 ( x ) = h t 2 ( x ) = 1 f^2(x)=h_t^2(x)=1 f2(x)=ht2(x)=1,可得:
l e x p ( H t − 1 + h t ∣ D ) = E x ∼ D [ e − f ( x ) H t − 1 ( x ) ( 1 − f ( x ) h t ( x ) + 1 2 ) ] (8.13) \mathscr{l}{exp}(H{t-1}+h_t\mid D)=\mathbb{E}{x\sim D}\Big[e^{-f(x)H{t-1}(x)}\Big(1-f(x)h_t(x)+\dfrac{1}{2}\Big)\Big]\tag{8.13} lexp(Ht−1+ht∣D)=Ex∼D[e−f(x)Ht−1(x)(1−f(x)ht(x)+21)](8.13)

因为理想的基学习器 h t ( x ) h_t(x) ht(x) 要使得指数损失函数最小化,所以:
h t ( x ) = a r g m i n h l e x p ( H t − 1 + h ∣ D ) = a r g m i n h E x ∼ D [ e − f ( x ) H t − 1 ( x ) ( 1 − f ( x ) h ( x ) + 1 2 ) ] 由式 ( 8.13 ) 代入得到 = a r g m i n h E x ∼ D [ e − f ( x ) H t − 1 ( x ) ( − f ( x ) h ( x ) ) ] 常数 1 + 1 2 不影响结果 = a r g m a x h E x ∼ D [ e − f ( x ) H t − 1 ( x ) f ( x ) h ( x ) ] 去负号 a r g m i n 变 a r g m a x = a r g m a x h E x ∼ D [ e − f ( x ) H t − 1 ( x ) E x ∼ D [ e − f ( x ) H t − 1 ( x ) ] f ( x ) h ( x ) ] 新加入的常数不影响结果 (8.14) \begin{aligned} h_t(x)&=\mathop {\mathrm{argmin}}\limits_{h}\mathscr{l}{exp}(H{t-1}+h\mid D)&\quad\\ &=\mathop {\mathrm{argmin}}\limits_{h}\mathbb{E}{x\sim D}\Big[e^{-f(x)H{t-1}(x)}\Big(1-f(x)h(x)+\dfrac{1}{2}\Big)\Big]&由式(8.13)代入得到\\ &=\mathop {\mathrm{argmin}}\limits_{h}\mathbb{E}{x\sim D}\Big[e^{-f(x)H{t-1}(x)}\Big(-f(x)h(x)\Big)\Big]&常数1+\dfrac{1}{2}不影响结果\\ &=\mathop {\mathrm{argmax}}\limits_{h}\mathbb{E}{x\sim D}\Big[e^{-f(x)H{t-1}(x)}f(x)h(x)\Big]&去负号\mathrm{argmin}变\mathrm{argmax}\\ &=\mathop {\mathrm{argmax}}\limits_{h}\mathbb{E}{x\sim D}\Big[\dfrac{e^{-f(x)H{t-1}(x)}}{\mathbb{E}{x\sim D}[e^{-f(x)H{t-1}(x)}]}f(x)h(x)\Big]&新加入的常数不影响结果 \end{aligned}\tag{8.14} ht(x)=hargminlexp(Ht−1+h∣D)=hargminEx∼D[e−f(x)Ht−1(x)(1−f(x)h(x)+21)]=hargminEx∼D[e−f(x)Ht−1(x)(−f(x)h(x))]=hargmaxEx∼D[e−f(x)Ht−1(x)f(x)h(x)]=hargmaxEx∼D[Ex∼D[e−f(x)Ht−1(x)]e−f(x)Ht−1(x)f(x)h(x)]由式(8.13)代入得到常数1+21不影响结果去负号argmin变argmax新加入的常数不影响结果(8.14)

注意,式(8.14)中的 E x ∼ D [ e − f ( x ) H t − 1 ( x ) ] \mathbb{E}{x\sim D}[e^{-f(x)H{t-1}(x)}] Ex∼D[e−f(x)Ht−1(x)] 是一个常数,之所以添加此常数,是为了构造出下面的 D t D_t Dt 分布。

令 D t D_t Dt 表示一个分布:
D t ( x ) = D ( x ) e − f ( x ) H t − 1 ( x ) E x ∼ D [ e − f ( x ) H t − 1 ( x ) ] (8.15) D_t(x)=\dfrac{D(x)e^{-f(x)H_{t-1}(x)}}{\mathbb{E}{x\sim D}[e^{-f(x)H{t-1}(x)}]}\tag{8.15} Dt(x)=Ex∼D[e−f(x)Ht−1(x)]D(x)e−f(x)Ht−1(x)(8.15)

根据数学期望的定义,再将式(8.15)代入式(8.14),则理想的基学习器 h t ( x ) h_t(x) ht(x):
h t ( x ) = a r g m a x h E x ∼ D [ e − f ( x ) H t − 1 ( x ) E x ∼ D [ e − f ( x ) H t − 1 ( x ) ] f ( x ) h ( x ) ] 式 ( 8.14 ) = a r g m a x h ∑ i = 1 ∣ D ∣ D ( x i ) [ e − f ( x i ) H t − 1 ( x i ) f ( x i ) h ( x i ) E x ∼ D [ e − f ( x i ) H t − 1 ( x i ) ] ] 数学期望的定义 = a r g m a x h ∑ i = 1 ∣ D ∣ D t ( x i ) f ( x i ) h ( x i ) 由式 ( 8.15 ) 代入得到 = a r g m a x h E x ∼ D t [ f ( x ) h ( x ) ] (8.16) \begin{aligned} h_t(x)&=\mathop {\mathrm{argmax}}\limits_{h}\mathbb{E}{x\sim D}\Big[\dfrac{e^{-f(x)H{t-1}(x)}}{\mathbb{E}{x\sim D}[e^{-f(x)H{t-1}(x)}]}f(x)h(x)\Big]&式(8.14)\\ &=\mathop {\mathrm{argmax}}\limits_{h}\sum\limits_{i=1}^{|D|}D(x_i)\Big[\dfrac{e^{-f(x_i)H_{t-1}(x_i)}f(x_i)h(x_i)}{\mathbb{E}{x\sim D}[e^{-f(x_i)H{t-1}(x_i)}]}\Big]&数学期望的定义\\ &=\mathop {\mathrm{argmax}}\limits_{h}\sum_{i=1}^{|D|}D_t(x_i)f(x_i)h(x_i)&由式(8.15)代入得到\\ &=\mathop {\mathrm{argmax}}\limits_{h}\mathbb{E}{x\sim D{t}}[f(x)h(x)] \end{aligned}\tag{8.16} ht(x)=hargmaxEx∼D[Ex∼D[e−f(x)Ht−1(x)]e−f(x)Ht−1(x)f(x)h(x)]=hargmaxi=1∑∣D∣D(xi)[Ex∼D[e−f(xi)Ht−1(xi)]e−f(xi)Ht−1(xi)f(xi)h(xi)]=hargmaxi=1∑∣D∣Dt(xi)f(xi)h(xi)=hargmaxEx∼Dt[f(x)h(x)]式(8.14)数学期望的定义由式(8.15)代入得到(8.16)

由于 f ( x ) , h ( x ) ∈ { − 1 , + 1 } f(x),h(x)\in\{-1,+1\} f(x),h(x)∈{−1,+1},有:
f ( x ) h ( x ) = 1 − 2 I ( f ( x ) ≠ h ( x ) ) (8.17) f(x)h(x)=1-2\mathbb{I}(f(x)\neq h(x))\tag{8.17} f(x)h(x)=1−2I(f(x)=h(x))(8.17)

则理想的基学习器 h t ( x ) h_t(x) ht(x):
h t ( x ) = a r g m a x h E x ∼ D t [ f ( x ) h ( x ) ] 式 ( 8.16 ) = a r g m a x h E x ∼ D t [ 1 − 2 I ( f ( x ) ≠ h ( x ) ) ] 由式 ( 8.17 ) 代入得到 = a r g m i n h E x ∼ D t [ I ( f ( x ) ≠ h ( x ) ) ] 去掉常数和负号 (8.18) \begin{aligned} h_t(x)&=\mathop {\mathrm{argmax}}\limits_{h}\mathbb{E}{x\sim D{t}}[f(x)h(x)]&式(8.16)\\ &=\mathop {\mathrm{argmax}}\limits_{h}\mathbb{E}{x\sim D{t}}[1-2\mathbb{I}(f(x)\neq h(x))]&由式(8.17)代入得到\\ &=\mathop {\mathrm{argmin}}\limits_{h}\mathbb{E}{x\sim D{t}}[\mathbb{I}(f(x)\neq h(x))]&去掉常数和负号 \end{aligned}\tag{8.18} ht(x)=hargmaxEx∼Dt[f(x)h(x)]=hargmaxEx∼Dt[1−2I(f(x)=h(x))]=hargminEx∼Dt[I(f(x)=h(x))]式(8.16)由式(8.17)代入得到去掉常数和负号(8.18)

由此可见,理想的 h t ( x ) h_t(x) ht(x) 将在分布 D t D_t Dt 下最小化分类误差

因此,弱分类器将基于分布 D t D_t Dt 进行训练,且针对 D t D_t Dt 的分类误差应小于 0.5,这在一定程度上类似"残差逼近"的思想。

考虑到 D t D_t Dt 与 D t + 1 D_{t+1} Dt+1 的关系,有:
D t + 1 ( x ) = D ( x ) e − f ( x ) H t ( x ) E x ∼ D [ e − f ( x ) H t ( x ) ] 由式 ( 8.15 ) 可得 = D ( x ) e − f ( x ) H t − 1 ( x ) e − f ( x ) α t h t ( x ) E x ∼ D [ e − f ( x ) H t ( x ) ] 将 H t ( x ) 展开得到 = D t ( x ) e − f ( x ) α t h t ( x ) E x ∼ D [ e − f ( x ) H t − 1 ( x ) ] E x ∼ D [ e − f ( x ) H t ( x ) ] 将式 ( 8.15 ) 代入,构造 D t ( x ) (8.19) \begin{aligned} D_{t+1}(x)&=\dfrac{D(x)e^{-f(x)H_{t}(x)}}{\mathbb{E}{x\sim D}[e^{-f(x)H{t}(x)}]}&由式(8.15)可得\\ &=\dfrac{D(x)e^{-f(x)H_{t-1}(x)}e^{-f(x)\alpha_{t}h_{t}(x)}}{\mathbb{E}{x\sim D}[e^{-f(x)H{t}(x)}]}&将H_t(x)展开得到\\ &=D_t(x)e^{-f(x)\alpha_{t}h_{t}(x)}\dfrac{\mathbb{E}{x\sim D}[e^{-f(x)H{t-1}(x)}]}{\mathbb{E}{x\sim D}[e^{-f(x)H{t}(x)}]}&将式(8.15)代入,构造D_t(x) \end{aligned}\tag{8.19} Dt+1(x)=Ex∼D[e−f(x)Ht(x)]D(x)e−f(x)Ht(x)=Ex∼D[e−f(x)Ht(x)]D(x)e−f(x)Ht−1(x)e−f(x)αtht(x)=Dt(x)e−f(x)αtht(x)Ex∼D[e−f(x)Ht(x)]Ex∼D[e−f(x)Ht−1(x)]由式(8.15)可得将Ht(x)展开得到将式(8.15)代入,构造Dt(x)(8.19)

至此,我们求得了 AdaBoost 算法的样本分布更新公式。

于是,由式(8.11)和(8.19)可见,我们从基于加性模型 最小化指数损失函数的角度,推导出了 AdaBoost 算法。

2.3 算法流程
2.3.1 算法描述

AdaBoost 算法流程如下:
输入 : 训练集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ... , ( x m , y m ) } ; 基学习算法 L ; 训练轮数 T . 过程 : 1 : D 1 ( x ) = 1 m . 2 : f o r t = 1 , 2 , ... , T d o 3 : h t = L ( D , D t ) ; 4 : ϵ t = P x ∼ D t ( h t ( x ) ≠ f ( x ) ) ; 5 : i f ϵ > 0.5 t h e n b r e a k 6 : α t = 1 2 l n ( 1 − ϵ t ϵ t ) ; 7 : D t + 1 ( x ) = D t ( x ) Z t × { e − α t , i f h t ( x ) = f ( x ) e α t , i f h t ( x ) ≠ f ( x ) = D t ( x ) e − α t f ( x ) h t ( x ) Z t 8 : e n d f o r 输出 : F ( x ) = s i g n ( ∑ t = 1 T α t h t ( x ) ) \begin{aligned} 输入:\ &训练集\ D=\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\};\\ &基学习算法\ \mathfrak{L};\\ &训练轮数\ T.\\ 过程:\ &\\ &1:D_1(x)=\dfrac{1}{m}.\\ &2:\mathbf{for}\ t=1,2,...,T\ \mathbf{do}\\ &3:\qquad h_t=\mathfrak{L}(D,D_t);\\ &4:\qquad \epsilon_t=P_{x\sim D_t}(h_t(x)\neq f(x));\\ &5:\qquad \mathbf{if}\ \epsilon\gt 0.5\ \mathbf{then\ break}\\ &6:\qquad \alpha_{t}=\dfrac{1}{2}ln\Big(\dfrac{1-\epsilon_{t}}{\epsilon_t}\Big);\\ &7:\qquad D_{t+1}(x)=\dfrac{D_t(x)}{Z_t}\times\begin{cases}{e^{-\alpha_{t}}}, &\mathrm{if}\ h_t(x)=f(x)\\{e^{\alpha_{t}}},&\mathrm{if}\ h_t(x)\neq f(x)\end{cases}=\dfrac{D_t(x)e^{-\alpha_{t}f(x)h_t(x)}}{Z_t}\\ &8:\mathbf{end\ for}\\ 输出:\ &F(x)=\mathrm{sign}\Big(\sum\limits_{t=1}^{T}\alpha_{t}h_{t}(x)\Big) \end{aligned} 输入: 过程: 输出: 训练集 D={(x1,y1),(x2,y2),...,(xm,ym)};基学习算法 L;训练轮数 T.1:D1(x)=m1.2:for t=1,2,...,T do3:ht=L(D,Dt);4:ϵt=Px∼Dt(ht(x)=f(x));5:if ϵ>0.5 then break6:αt=21ln(ϵt1−ϵt);7:Dt+1(x)=ZtDt(x)×{e−αt,eαt,if ht(x)=f(x)if ht(x)=f(x)=ZtDt(x)e−αtf(x)ht(x)8:end forF(x)=sign(t=1∑Tαtht(x))

其中, Z t Z_t Zt 是规范化因子,它使得 D t + 1 D_{t+1} Dt+1 是一个分布:
Z t = ∑ i = 1 N w t i e − α t f ( x i ) h t ( x i ) Z_t=\sum\limits_{i=1}^{N}w_{ti}e^{-\alpha_{t}f(x_i)h_{t}(x_{i})} Zt=i=1∑Nwtie−αtf(xi)ht(xi)

我们知道, D t + 1 D_{t+1} Dt+1 表示的是样本权值的分布 ;因此,要想使得 D t + 1 D_{t+1} Dt+1 是一个分布,应当使得 D t + 1 D_{t+1} Dt+1 中的各样本权值之和为 1 。为了做到这点,我们让 D t + 1 D_{t+1} Dt+1 中的每一个规范化前的样本权值 w t i e − α t f ( x i ) h t ( x i ) w_{ti}e^{-\alpha_{t}f(x_i)h_{t}(x_{i})} wtie−αtf(xi)ht(xi) 都除以样本权值的总和 ∑ i = 1 N w t i e − α t f ( x i ) h t ( x i ) \sum\limits_{i=1}^{N}w_{ti}e^{-\alpha_{t}f(x_i)h_{t}(x_{i})} i=1∑Nwtie−αtf(xi)ht(xi)(这个总和也就是规范化因子 Z t Z_t Zt),从而让我们得到的各样本权值之和为 1。(直观来说,规范化后的样本权值,即为规范化前的样本权值 占 总样本权值的比例,这个比例的总和当然为 1。)

所以我们也能理解:在式(8.19)中,由于项 E x ∼ D [ e − f ( x ) H t − 1 ( x ) ] E x ∼ D [ e − f ( x ) H t ( x ) ] \dfrac{\mathbb{E}{x\sim D}[e^{-f(x)H{t-1}(x)}]}{\mathbb{E}{x\sim D}[e^{-f(x)H{t}(x)}]} Ex∼D[e−f(x)Ht(x)]Ex∼D[e−f(x)Ht−1(x)] 是一个常数,所有样本权值同时乘以常数,不会改变规范化前的样本权值 占 总样本权值的比例;因此无论是否有它,规范化之后的结果都是一样的,所以我们不去计算这个常数的值。

2.3.2 算法各步骤含义

AdaBoost 算法各步骤的含义如下(一一对应):
输入 : 训练集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ... , ( x m , y m ) } ; 基学习算法 L ; 训练轮数 T . 过程 : 1 : 初始化样本权值分布 . 2 : 循环进行 T 轮训练 3 : 基于分布 D t 从数据集 D 中训练出分类器 h t ; 4 : 估计 h t 的误差 ; 5 : 检查当前基分类器是否比随机猜测好,如果条件不满足,当前基学习器即被抛弃,学习过程停止 6 : 确定分类器 h t 的权重 ; 7 : 更新样本分布,其中 Z t 是规范化因子,以确保 D t + 1 是一个分布 8 : 结束循环 输出 : 分类结果 \begin{aligned} 输入:\ &训练集\ D=\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\};\\ &基学习算法\ \mathfrak{L};\\ &训练轮数\ T.\\ 过程:\ &\\ &1:初始化样本权值分布.\\ &2:循环进行\ T\ 轮训练\\ &3:\qquad 基于分布\ D_t\ 从数据集\ D\ 中训练出分类器\ h_t;\\ &4:\qquad 估计\ h_t\ 的误差;\\ &5:\qquad 检查当前基分类器是否比随机猜测好,如果条件不满足,当前基学习器即被抛弃,学习过程停止\\ &6:\qquad 确定分类器\ h_t\ 的权重;\\ &7:\qquad 更新样本分布,其中\ Z_t\ 是规范化因子,以确保\ D_{t+1}\ 是一个分布\\ &8:结束循环\\ 输出:\ &分类结果 \end{aligned} 输入: 过程: 输出: 训练集 D={(x1,y1),(x2,y2),...,(xm,ym)};基学习算法 L;训练轮数 T.1:初始化样本权值分布.2:循环进行 T 轮训练3:基于分布 Dt 从数据集 D 中训练出分类器 ht;4:估计 ht 的误差;5:检查当前基分类器是否比随机猜测好,如果条件不满足,当前基学习器即被抛弃,学习过程停止6:确定分类器 ht 的权重;7:更新样本分布,其中 Zt 是规范化因子,以确保 Dt+1 是一个分布8:结束循环分类结果

2.4 具体算例
2.4.1 给定数据集与基学习算法

假设给出如下表所示的训练数据。假设弱分类器由 x < v x\lt v x<v 或 x > v x\gt v x>v 产生,其阈值 v v v 使该分类器在训练数据集上的分类误差率最低。试用 AdaBoost 算法学习一个强分类器。

序号 i i i 1 2 3 4 5 6 7 8 9 10
数据 x x x 0 1 2 3 4 5 6 7 8 9
类别标签 y = f ( x ) y=f(x) y=f(x) 1 1 1 -1 -1 -1 1 1 1 -1
2.4.2 算法步骤1-2

解:

我们用 t t t 表示当前训练的轮数, i i i 表示实例的序号, m m m 表示训练集实例的总数量。

在此例中, t = 1 , 2 , ... , T t=1,2,...,T t=1,2,...,T; i = 1 , 2 , ... , 10 i=1,2,...,10 i=1,2,...,10; m = 10 m=10 m=10。

1:初始化样本权值分布 D 1 ( x ) D_1(x) D1(x):
D 1 ( x ) = ( w 11 , w 12 , ... , w 110 ) = 1 m D_1(x)=(w_{11},w_{12},...,w_{110})=\dfrac{1}{m} D1(x)=(w11,w12,...,w110)=m1

w 1 i = 0.1 , i = 1 , 2 , ... , 10 w_{1i}=0.1,\quad i=1,2,...,10 w1i=0.1,i=1,2,...,10

这里, w t i w_{ti} wti 表示第 t t t 轮中第 i i i 个实例的权值,并且 ∑ i = 1 N w t i = 1 \sum\limits_{i=1}^{N}w_{ti}=1 i=1∑Nwti=1。

2:开始循环进行 T T T 轮训练:

其中,下面的序号 a a a 表示第 1 轮训练, b b b 表示第 2 轮训练,以此类推。

2.4.3 算法步骤3a-7a(第 1 轮)

3a:基于分布 D t = D 1 D_t=D_1 Dt=D1 从数据集 D D D 中训练出分类器 h t = h 1 h_t=h_1 ht=h1:
h 1 = L ( D , D 1 ) h_1=\mathfrak{L}(D,D_1) h1=L(D,D1)

在权值分布为 D 1 D_1 D1 的训练数据上,阈值 v v v 取 2.5 时分类误差率最低,故基本分类器为:
h 1 ( x ) = { 1 , x < 2.5 − 1 , x > 2.5 h_1(x)=\begin{cases}{1},&x\lt 2.5\\{-1},&x\gt 2.5\end{cases} h1(x)={1,−1,x<2.5x>2.5

4a:估计 h 1 h_1 h1 的误差:

序号 i i i 1 2 3 4 5 6 7 8 9 10
数据 x x x 0 1 2 3 4 5 6 7 8 9
类别标签 y = f ( x ) y=f(x) y=f(x) 1 1 1 -1 -1 -1 1 1 1 -1
权值分布 D 1 D_1 D1 0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1
基分类器结果 h 1 ( x ) h_1(x) h1(x) 1 1 1 -1 -1 -1 -1 -1 -1 -1
正误 × × ×

h 1 ( x ) h_1(x) h1(x) 的在训练数据集上的误差率为:
ϵ 1 = P x ∼ D 1 ( h 1 ( x ) ≠ f ( x ) ) = 0.1 + 0.1 + 0.1 = 0.3 \epsilon_1=P_{x\sim D_1}(h_1(x)\neq f(x))=0.1+0.1+0.1=0.3 ϵ1=Px∼D1(h1(x)=f(x))=0.1+0.1+0.1=0.3

务必注意:模型的误差等于误判样本的权重值之和 (可以看作弱学习器在数据集上的加权错误率),而非误判样本数占总样本数的比例。

5a:检查当前基分类器是否比随机猜测好:
ϵ 1 = 0.3 ≤ 0.5 \epsilon_{1}=0.3\leq 0.5 ϵ1=0.3≤0.5

基分类器 h 1 h_1 h1 比随机猜测好,循环继续进行。

6a:确定分类器 h t = h 1 h_t=h_1 ht=h1 的权重 α 1 \alpha_1 α1:
α 1 = 1 2 l n ( 1 − ϵ 1 ϵ 1 ) = 1 2 l n ( 1 − 0.3 0.3 ) = 0.4236 \alpha_{1}=\dfrac{1}{2}ln\Big(\dfrac{1-\epsilon_{1}}{\epsilon_1}\Big)=\dfrac{1}{2}ln\Big(\dfrac{1-0.3}{0.3}\Big)=0.4236 α1=21ln(ϵ11−ϵ1)=21ln(0.31−0.3)=0.4236

7a:更新样本的权值分布:
D 2 = ( w 21 , ... , w 2 i , ... , w 210 ) = D 1 ( x ) e − α 1 f ( x ) h 1 ( x ) Z 1 D_2=(w_{21},...,w_{2i},...,w_{210})=\dfrac{D_1(x)e^{-\alpha_{1}f(x)h_1(x)}}{Z_1} D2=(w21,...,w2i,...,w210)=Z1D1(x)e−α1f(x)h1(x)

w 2 i = w 1 i Z 1 e − α 1 f ( x i ) h 1 ( x i ) , i = 1 , 2 , ... , 10 w_{2i}=\dfrac{w_{1i}}{Z_1}e^{-\alpha_{1}f(x_i)h_1(x_i)},\quad i=1,2,...,10 w2i=Z1w1ie−α1f(xi)h1(xi),i=1,2,...,10

且已求得,基分类器权重 α 1 = 0.4236 \alpha_1=0.4236 α1=0.4236

可求,规范化因子(为了使样本的概率分布之和为1):
Z t = ∑ i = 1 N w t i e − α t f ( x i ) h t ( x i ) Z_t=\sum\limits_{i=1}^{N}w_{ti}e^{-\alpha_{t}f(x_i)h_{t}(x_{i})} Zt=i=1∑Nwtie−αtf(xi)ht(xi)

Z 1 = ∑ i = 1 N w 1 i e − α 1 f ( x i ) h 1 ( x i ) = 0.1 e − 0.4236 + 0.1 e − 0.4236 + 0.1 e − 0.4236 + 0.1 e − 0.4236 + 0.1 e − 0.4236 + 0.1 e − 0.4236 + 0.1 e 0.4236 + 0.1 e 0.4236 + 0.1 e 0.4236 + 0.1 e − 0.4236 = 0.1 e − 0.4236 × 7 + 0.1 e 0.4236 × 3 简化计算 = 0.06546857 × 7 + 0.15274505 × 3 = 0.91651514 \begin{aligned} Z_1&=\sum\limits_{i=1}^{N}w_{1i}e^{-\alpha_{1}f(x_i)h_{1}(x_{i})}\\ &=0.1e^{-0.4236}+0.1e^{-0.4236}+0.1e^{-0.4236}+0.1e^{-0.4236}+0.1e^{-0.4236}+0.1e^{-0.4236}+0.1e^{0.4236}+0.1e^{0.4236}+0.1e^{0.4236}+0.1e^{-0.4236}\\ &=0.1e^{-0.4236}\times 7+0.1e^{0.4236}\times 3\qquad 简化计算\\ &=0.06546857\times 7+0.15274505\times 3\\ &=0.91651514 \end{aligned} Z1=i=1∑Nw1ie−α1f(xi)h1(xi)=0.1e−0.4236+0.1e−0.4236+0.1e−0.4236+0.1e−0.4236+0.1e−0.4236+0.1e−0.4236+0.1e0.4236+0.1e0.4236+0.1e0.4236+0.1e−0.4236=0.1e−0.4236×7+0.1e0.4236×3简化计算=0.06546857×7+0.15274505×3=0.91651514

可求得:

序号 i i i 1 2 3 4 5 6 7 8 9 10
数据 x x x 0 1 2 3 4 5 6 7 8 9
类别标签 y = f ( x ) y=f(x) y=f(x) 1 1 1 -1 -1 -1 1 1 1 -1
权值分布 D 1 = ( w 1 i ) D_1=(w_{1i}) D1=(w1i) 0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1
基分类器结果 h 1 ( x ) h_1(x) h1(x) 1 1 1 -1 -1 -1 -1 -1 -1 -1
分子 [ 1 ] ^{[1]} [1] w 1 i e − α 1 f ( x i ) h 1 ( x i ) w_{1i}e^{-\alpha_{1}f(x_i)h_1(x_i)} w1ie−α1f(xi)h1(xi) 0.06546857 0.06546857 0.06546857 0.06546857 0.06546857 0.06546857 0.15274505 0.15274505 0.15274505 0.06546857
权值分布 [ 2 ] ^{[2]} [2] D 2 = ( w 2 i ) D_2=(w_{2i}) D2=(w2i) 0.07143 0.07143 0.07143 0.07143 0.07143 0.07143 0.16666 0.16666 0.16666 0.07143

[1]这里的分子计算: 0.1 e − 0.4236 = 0.06546857 0.1e^{-0.4236}=0.06546857 0.1e−0.4236=0.06546857; 0.1 e 0.4236 = 0.15274505 0.1e^{0.4236}=0.15274505 0.1e0.4236=0.15274505

[2]可以观察到:第 1 轮中基学习器分类错误的样本 x=6,7,8,在 D 2 D_2 D2 中的权重变大了,而其他样本权重降低了。

此时的集成分类器:
H 1 ( x ) = 0.4236 h 1 ( x ) H_1(x)=0.4236h_1(x) H1(x)=0.4236h1(x)

分类结果 F ( x ) = s i g n ( 0.4236 h 1 ( x ) ) F(x)=\mathrm{sign}\Big(0.4236h_1(x)\Big) F(x)=sign(0.4236h1(x)) 在训练数据集上有 3 个误分类点。

2.4.4 算法步骤3b-7b(第 2 轮)

3b:基于分布 D t = D 2 D_t=D_2 Dt=D2 从数据集 D D D 中训练出分类器 h t = h 2 h_t=h_2 ht=h2:
h 2 = L ( D , D 2 ) h_2=\mathfrak{L}(D,D_2) h2=L(D,D2)

在权值分布为 D 2 D_2 D2 的训练数据上,阈值 v v v 取 8.5 时分类误差率最低,故基本分类器为:
h 2 ( x ) = { 1 , x < 8.5 − 1 , x > 8.5 h_2(x)=\begin{cases}{1},&x\lt 8.5\\{-1},&x\gt 8.5\end{cases} h2(x)={1,−1,x<8.5x>8.5

4b:估计 h 2 h_2 h2 的误差:

序号 i i i 1 2 3 4 5 6 7 8 9 10
数据 x x x 0 1 2 3 4 5 6 7 8 9
类别标签 y = f ( x ) y=f(x) y=f(x) 1 1 1 -1 -1 -1 1 1 1 -1
权值分布 D 2 D_2 D2 0.07143 0.07143 0.07143 0.07143 0.07143 0.07143 0.16666 0.16666 0.16666 0.07143
基分类器结果 h 2 ( x ) h_2(x) h2(x) 1 1 1 1 1 1 1 1 1 -1
正误 × × ×

h 2 ( x ) h_2(x) h2(x) 的在训练数据集上的误差率为:
ϵ 2 = P x ∼ D 2 ( h 2 ( x ) ≠ f ( x ) ) = 0.07143 + 0.07143 + 0.07143 = 0.2143 \epsilon_2=P_{x\sim D_2}(h_2(x)\neq f(x))=0.07143+0.07143+0.07143=0.2143 ϵ2=Px∼D2(h2(x)=f(x))=0.07143+0.07143+0.07143=0.2143

5b:检查当前基分类器是否比随机猜测好:
ϵ 2 = 0.2143 ≤ 0.5 \epsilon_{2}=0.2143\leq 0.5 ϵ2=0.2143≤0.5

基分类器 h 2 h_2 h2 比随机猜测好,循环继续进行。

6b:确定分类器 h t = h 2 h_t=h_2 ht=h2 的权重 α 2 \alpha_2 α2:
α 2 = 1 2 l n ( 1 − ϵ 2 ϵ 2 ) = 1 2 l n ( 1 − 0.2143 0.2143 ) = 0.6496 \alpha_{2}=\dfrac{1}{2}ln\Big(\dfrac{1-\epsilon_{2}}{\epsilon_2}\Big)=\dfrac{1}{2}ln\Big(\dfrac{1-0.2143}{0.2143}\Big)=0.6496 α2=21ln(ϵ21−ϵ2)=21ln(0.21431−0.2143)=0.6496

7b:更新样本的权值分布:
D 3 = ( w 31 , ... , w 3 i , ... , w 310 ) = D 2 ( x ) e − α 2 f ( x ) h 2 ( x ) Z 2 D_3=(w_{31},...,w_{3i},...,w_{310})=\dfrac{D_2(x)e^{-\alpha_{2}f(x)h_2(x)}}{Z_2} D3=(w31,...,w3i,...,w310)=Z2D2(x)e−α2f(x)h2(x)

w 3 i = w 2 i Z 2 e − α 2 f ( x i ) h 2 ( x i ) , i = 1 , 2 , ... , 10 w_{3i}=\dfrac{w_{2i}}{Z_2}e^{-\alpha_{2}f(x_i)h_2(x_i)},\quad i=1,2,...,10 w3i=Z2w2ie−α2f(xi)h2(xi),i=1,2,...,10

且已求得,基分类器权重 α 2 = 0.6496 \alpha_2=0.6496 α2=0.6496

可求,规范化因子:
Z t = ∑ i = 1 N w t i e − α t f ( x i ) h t ( x i ) Z_t=\sum\limits_{i=1}^{N}w_{ti}e^{-\alpha_{t}f(x_i)h_{t}(x_{i})} Zt=i=1∑Nwtie−αtf(xi)ht(xi)

Z 2 = ∑ i = 1 N w 2 i e − α 2 f ( x i ) h 2 ( x i ) = 0.07143 e − 0.6496 + 0.07143 e − 0.6496 + 0.07143 e − 0.6496 + 0.07143 e 0.6496 + 0.07143 e 0.6496 + 0.07143 e 0.6496 + 0.16666 e − 0.6496 + 0.16666 e − 0.6496 + 0.16666 e − 0.6496 + 0.07143 e − 0.6496 = 0.07143 e − 0.6496 × 4 + 0.07143 e 0.6496 × 3 + 0.16666 e − 0.6496 × 3 简化计算 = 0.03730465 × 4 + 0.13677236 × 3 + 0.08703896 × 3 = 0.82065256 \begin{aligned} Z_2&=\sum\limits_{i=1}^{N}w_{2i}e^{-\alpha_{2}f(x_i)h_{2}(x_{i})}\\ &=0.07143e^{-0.6496}+0.07143e^{-0.6496}+0.07143e^{-0.6496}+0.07143e^{0.6496}+0.07143e^{0.6496}+0.07143e^{0.6496}+0.16666e^{-0.6496}+0.16666e^{-0.6496}+0.16666e^{-0.6496}+0.07143e^{-0.6496}\\ &=0.07143e^{-0.6496}\times 4+0.07143e^{0.6496}\times 3+0.16666e^{-0.6496}\times 3\qquad 简化计算\\ &=0.03730465\times 4+0.13677236\times 3+0.08703896\times 3\\ &=0.82065256 \end{aligned} Z2=i=1∑Nw2ie−α2f(xi)h2(xi)=0.07143e−0.6496+0.07143e−0.6496+0.07143e−0.6496+0.07143e0.6496+0.07143e0.6496+0.07143e0.6496+0.16666e−0.6496+0.16666e−0.6496+0.16666e−0.6496+0.07143e−0.6496=0.07143e−0.6496×4+0.07143e0.6496×3+0.16666e−0.6496×3简化计算=0.03730465×4+0.13677236×3+0.08703896×3=0.82065256

可求得:

序号 i i i 1 2 3 4 5 6 7 8 9 10
数据 x x x 0 1 2 3 4 5 6 7 8 9
类别标签 y = f ( x ) y=f(x) y=f(x) 1 1 1 -1 -1 -1 1 1 1 -1
权值分布 D 2 = ( w 2 i ) D_2=(w_{2i}) D2=(w2i) 0.07143 0.07143 0.07143 0.07143 0.07143 0.07143 0.16666 0.16666 0.16666 0.07143
基分类器结果 h 2 ( x ) h_2(x) h2(x) 1 1 1 1 1 1 1 1 1 -1
分子 [ 3 ] ^{[3]} [3] w 2 i e − α 2 f ( x i ) h 2 ( x i ) w_{2i}e^{-\alpha_{2}f(x_i)h_2(x_i)} w2ie−α2f(xi)h2(xi) 0.03730465 0.03730465 0.03730465 0.13677236 0.13677236 0.13677236 0.08703896 0.08703896 0.08703896 0.03730465
权值分布 [ 4 ] ^{[4]} [4] D 3 = ( w 3 i ) D_3=(w_{3i}) D3=(w3i) 0.04546 0.04546 0.04546 0.16666 0.16666 0.16666 0.10606 0.10606 0.10606 0.04546

[3]这里的分子计算: 0.07143 e − 0.6496 = 0.03730465 0.07143e^{-0.6496}=0.03730465 0.07143e−0.6496=0.03730465; 0.07143 e 0.6496 = 0.13677236 0.07143e^{0.6496}=0.13677236 0.07143e0.6496=0.13677236; 0.16666 e − 0.6496 = 0.08703896 0.16666e^{-0.6496}=0.08703896 0.16666e−0.6496=0.08703896

[4]可以观察到:第 2 轮中基学习器分类错误的样本 x=3,4,5,在 D 3 D_3 D3 中的权重变大了,而其他样本权重降低了。

此时的集成分类器:
H 2 ( x ) = 0.4236 h 1 ( x ) + 0.6496 h 2 ( x ) H_2(x)=0.4236h_1(x)+0.6496h_2(x) H2(x)=0.4236h1(x)+0.6496h2(x)

分类结果 F ( x ) = s i g n ( 0.4236 h 1 ( x ) + 0.6496 h 2 ( x ) ) F(x)=\mathrm{sign}\Big(0.4236h_1(x)+0.6496h_2(x)\Big) F(x)=sign(0.4236h1(x)+0.6496h2(x)) 在训练数据集上有 3 个误分类点。

2.4.5 算法步骤3c-7c(第 3 轮)

3c:基于分布 D t = D 3 D_t=D_3 Dt=D3 从数据集 D D D 中训练出分类器 h t = h 3 h_t=h_3 ht=h3:
h 3 = L ( D , D 3 ) h_3=\mathfrak{L}(D,D_3) h3=L(D,D3)

在权值分布为 D 3 D_3 D3 的训练数据上,阈值 v v v 取 5.5 时分类误差率最低,故基本分类器为:
h 3 ( x ) = { 1 , x > 5.5 − 1 , x < 5.5 h_3(x)=\begin{cases}{1},&x\gt 5.5\\{-1},&x\lt 5.5\end{cases} h3(x)={1,−1,x>5.5x<5.5

4c:估计 h 3 h_3 h3 的误差:

序号 i i i 1 2 3 4 5 6 7 8 9 10
数据 x x x 0 1 2 3 4 5 6 7 8 9
类别标签 y = f ( x ) y=f(x) y=f(x) 1 1 1 -1 -1 -1 1 1 1 -1
权值分布 D 3 D_3 D3 0.04546 0.04546 0.04546 0.16666 0.16666 0.16666 0.10606 0.10606 0.10606 0.04546
基分类器结果 h 3 ( x ) h_3(x) h3(x) -1 -1 -1 -1 -1 -1 1 1 1 1
正误 × × × ×

h 3 ( x ) h_3(x) h3(x) 的在训练数据集上的误差率为:
ϵ 3 = P x ∼ D 3 ( h 3 ( x ) ≠ f ( x ) ) = 0.04546 + 0.04546 + 0.04546 + 0.04546 = 0.1818 \epsilon_3=P_{x\sim D_3}(h_3(x)\neq f(x))=0.04546+0.04546+0.04546+0.04546=0.1818 ϵ3=Px∼D3(h3(x)=f(x))=0.04546+0.04546+0.04546+0.04546=0.1818

5c:检查当前基分类器是否比随机猜测好:
ϵ 3 = 0.1818 ≤ 0.5 \epsilon_{3}=0.1818\leq 0.5 ϵ3=0.1818≤0.5

基分类器 h 3 h_3 h3 比随机猜测好,循环继续进行.

6c:确定分类器 h t = h 3 h_t=h_3 ht=h3 的权重 α 3 \alpha_3 α3:
α 3 = 1 2 l n ( 1 − ϵ 3 ϵ 3 ) = 1 2 l n ( 1 − 0.1818 0.1818 ) = 0.7521 \alpha_{3}=\dfrac{1}{2}ln\Big(\dfrac{1-\epsilon_{3}}{\epsilon_3}\Big)=\dfrac{1}{2}ln\Big(\dfrac{1-0.1818}{0.1818}\Big)=0.7521 α3=21ln(ϵ31−ϵ3)=21ln(0.18181−0.1818)=0.7521

7c:更新样本的权值分布:
D 4 = ( w 41 , ... , w 4 i , ... , w 410 ) = D 3 ( x ) e − α 3 f ( x ) h 3 ( x ) Z 3 D_4=(w_{41},...,w_{4i},...,w_{410})=\dfrac{D_3(x)e^{-\alpha_{3}f(x)h_3(x)}}{Z_3} D4=(w41,...,w4i,...,w410)=Z3D3(x)e−α3f(x)h3(x)

w 4 i = w 3 i Z 3 e − α 3 f ( x i ) h 3 ( x i ) , i = 1 , 2 , ... , 10 w_{4i}=\dfrac{w_{3i}}{Z_3}e^{-\alpha_{3}f(x_i)h_3(x_i)},\quad i=1,2,...,10 w4i=Z3w3ie−α3f(xi)h3(xi),i=1,2,...,10

且已求得,基分类器权重 α 3 = 0.7521 \alpha_3=0.7521 α3=0.7521

可求,规范化因子:
Z t = ∑ i = 1 N w t i e − α t f ( x i ) h t ( x i ) Z_t=\sum\limits_{i=1}^{N}w_{ti}e^{-\alpha_{t}f(x_i)h_{t}(x_{i})} Zt=i=1∑Nwtie−αtf(xi)ht(xi)

Z 3 = ∑ i = 1 N w 3 i e − α 3 f ( x i ) h 3 ( x i ) = 0.04546 e 0.7521 + 0.04546 e 0.7521 + 0.04546 e 0.7521 + 0.16666 e − 0.7521 + 0.16666 e − 0.7521 + 0.16666 e − 0.7521 + 0.10606 e − 0.7521 + 0.10606 e − 0.7521 + 0.10606 e − 0.7521 + 0.04546 e 0.7521 = 0.04546 e 0.7521 × 4 + 0.16666 e − 0.7521 × 3 + 0.10606 e − 0.7521 × 3 简化计算 = 0.09644113 × 4 + 0.07855946 × 3 + 0.04999410 × 3 = 0.77142520 \begin{aligned} Z_3&=\sum\limits_{i=1}^{N}w_{3i}e^{-\alpha_{3}f(x_i)h_{3}(x_{i})}\\ &=0.04546e^{0.7521}+0.04546e^{0.7521}+0.04546e^{0.7521}+0.16666e^{-0.7521}+0.16666e^{-0.7521}+0.16666e^{-0.7521}+0.10606e^{-0.7521}+0.10606e^{-0.7521}+0.10606e^{-0.7521}+0.04546e^{0.7521}\\ &=0.04546e^{0.7521}\times 4+0.16666e^{-0.7521}\times 3+0.10606e^{-0.7521}\times 3\qquad 简化计算\\ &=0.09644113\times 4+0.07855946\times 3+0.04999410\times 3\\ &=0.77142520 \end{aligned} Z3=i=1∑Nw3ie−α3f(xi)h3(xi)=0.04546e0.7521+0.04546e0.7521+0.04546e0.7521+0.16666e−0.7521+0.16666e−0.7521+0.16666e−0.7521+0.10606e−0.7521+0.10606e−0.7521+0.10606e−0.7521+0.04546e0.7521=0.04546e0.7521×4+0.16666e−0.7521×3+0.10606e−0.7521×3简化计算=0.09644113×4+0.07855946×3+0.04999410×3=0.77142520

可求得:

序号 i i i 1 2 3 4 5 6 7 8 9 10
数据 x x x 0 1 2 3 4 5 6 7 8 9
类别标签 y = f ( x ) y=f(x) y=f(x) 1 1 1 -1 -1 -1 1 1 1 -1
权值分布 D 3 = ( w 3 i ) D_3=(w_{3i}) D3=(w3i) 0.04546 0.04546 0.04546 0.16666 0.16666 0.16666 0.10606 0.10606 0.10606 0.04546
基分类器结果 h 3 ( x ) h_3(x) h3(x) -1 -1 -1 -1 -1 -1 1 1 1 1
分子 [ 5 ] ^{[5]} [5] w 3 i e − α 3 f ( x i ) h 3 ( x i ) w_{3i}e^{-\alpha_{3}f(x_i)h_3(x_i)} w3ie−α3f(xi)h3(xi) 0.09644113 0.09644113 0.09644113 0.07855946 0.07855946 0.07855946 0.04999410 0.04999410 0.04999410 0.09644113
权值分布 [ 6 ] ^{[6]} [6] D 4 = ( w 4 i ) D_4=(w_{4i}) D4=(w4i) 0.12502 0.12502 0.12502 0.10184 0.10184 0.10184 0.06481 0.06481 0.06481 0.12502

[5]这里的分子计算: 0.04546 e 0.7521 = 0.09644113 0.04546e^{0.7521}=0.09644113 0.04546e0.7521=0.09644113; 0.16666 e − 0.7521 = 0.07855946 0.16666e^{-0.7521}=0.07855946 0.16666e−0.7521=0.07855946; 0.10606 e − 0.7521 = 0.04999410 0.10606e^{-0.7521}=0.04999410 0.10606e−0.7521=0.04999410

[6]可以观察到:第 3 轮中基学习器分类错误的样本 x=0,1,2,9,在 D 4 D_4 D4 中的权重变大了,而其他样本权重降低了。

此时的集成分类器:
H 3 ( x ) = 0.4236 h 1 ( x ) + 0.6496 h 2 ( x ) + 0.7521 h 3 ( x ) H_3(x)=0.4236h_1(x)+0.6496h_2(x)+0.7521h_3(x) H3(x)=0.4236h1(x)+0.6496h2(x)+0.7521h3(x)

分类结果 F ( x ) = s i g n ( 0.4236 h 1 ( x ) + 0.6496 h 2 ( x ) + 0.7521 h 3 ( x ) ) F(x)=\mathrm{sign}\Big(0.4236h_1(x)+0.6496h_2(x)+0.7521h_3(x)\Big) F(x)=sign(0.4236h1(x)+0.6496h2(x)+0.7521h3(x)) 在训练数据集上有 0 个误分类点。

具体如下:

序号 i i i 1 2 3 4 5 6 7 8 9 10
数据 x x x 0 1 2 3 4 5 6 7 8 9
类别标签 y = f ( x ) y=f(x) y=f(x) 1 1 1 -1 -1 -1 1 1 1 -1
基分类器结果 h 1 ( x ) h_1(x) h1(x) 1 1 1 -1 -1 -1 -1 -1 -1 -1
加权 α 1 h 1 ( x ) \alpha_{1}h_1(x) α1h1(x) 0.4236 0.4236 0.4236 -0.4236 -0.4236 -0.4236 -0.4236 -0.4236 -0.4236 -0.4236
基分类器结果 h 2 ( x ) h_2(x) h2(x) 1 1 1 1 1 1 1 1 1 -1
加权 α 2 h 2 ( x ) \alpha_{2}h_2(x) α2h2(x) 0.6496 0.6496 0.6496 0.6496 0.6496 0.6496 0.6496 0.6496 0.6496 -0.6496
基分类器结果 h 3 ( x ) h_3(x) h3(x) -1 -1 -1 -1 -1 -1 1 1 1 1
加权 α 3 h 3 ( x ) \alpha_{3}h_3(x) α3h3(x) -0.7521 -0.7521 -0.7521 -0.7521 -0.7521 -0.7521 0.7521 0.7521 0.7521 0.7521
∑ t = 1 T α t h t ( x ) \sum\limits_{t=1}^{T}\alpha_{t}h_{t}(x) t=1∑Tαtht(x) 0.3211 0.3211 0.3211 -0.5261 -0.5261 -0.5261 0.9781 0.9781 0.9781 -0.3211
集成分类器结果 F ( x ) F(x) F(x) 1 1 1 -1 -1 -1 1 1 1 -1
正误
2.4.6 算法步骤8

8:结束循环

输出结果:
F ( x ) = s i g n ( ∑ t = 1 T α t h t ( x ) ) = s i g n ( 0.4236 h 1 ( x ) + 0.6496 h 2 ( x ) + 0.7521 h 3 ( x ) ) F(x)=\mathrm{sign}\Big(\sum\limits_{t=1}^{T}\alpha_{t}h_{t}(x)\Big)=\mathrm{sign}\Big(0.4236h_1(x)+0.6496h_2(x)+0.7521h_3(x)\Big) F(x)=sign(t=1∑Tαtht(x))=sign(0.4236h1(x)+0.6496h2(x)+0.7521h3(x))

AdaBoost 算法在本数据集的运算至此结束。

2.5 代码实现

见代码文件"AdaBoost.ipynb"。

2.6 算法分析
2.6.1 主要优点

①AdaBoost 作为分类器时,分类精度很高,训练误差以指数速率下降;

②在 AdaBoost 的框架下,可以使用各种回归分类模型来构建弱学习器,非常灵活;

③作为简单的二元分类器时,构造简单,结果可理解。

2.6.2 主要缺点

在 Adaboost 训练过程中,Adaboost 会使得难于分类的样本的权值呈指数增长,训练将会过于偏向这类困难的样本;因此它对异常样本是敏感的,异常样本在迭代中可能会获得较高的权重,影响最终强学习器的预测准确性。

2.7 常用技巧
2.7.1 特征缩减技术(Shrinkage)

对每个基学习器乘以一个系数 v ( 0 < v < 1 ) v\ (0\lt v\lt 1) v (0<v<1),使其对最终模型的贡献减小,从而防止学的太快产生过拟合, v v v 又称学习率(learning rate)。

于是,上文的加法模型就从:
H ( x ) = H t − 1 ( x ) + α t h t ( x ) H(x)=H_{t-1}(x)+\alpha_{t}h_t(x) H(x)=Ht−1(x)+αtht(x)

变为:
H ( x ) = H t − 1 ( x ) + v ⋅ α t h t ( x ) H(x)=H_{t-1}(x)+v\cdot\alpha_{t}h_t(x) H(x)=Ht−1(x)+v⋅αtht(x)

一般 v v v 要和迭代次数 T T T 结合起来使用,较小的 v v v 意味着需要较大的 T T T。

The Elements of Staistical Learning 》提到的策略是先将 v v v 设得很小 ( v < 0.1 ) (v\lt 0.1) (v<0.1),再通过 Early Stopping 选择 T T T;现实中也常用交叉验证(cross-validation)进行选择。

2.7.2 早停法(Early Stopping)

将数据集划分为训练集和测试集,在训练过程中不断检查在测试集上的表现,如果测试集上的准确率下降到一定阈值之下,则停止训练,选用当前的迭代次数 T T T,这同样是防止过拟合的手段。

2.7.3 权值修整(Weight Trimming)

Weight Trimming 的主要目的是提高训练速度,且不显著牺牲准确率。

在 AdaBoost 的每一轮基学习器训练过程中,只有小部分样本的权重较大,因而能产生较大的影响;而其他大部分权重小的样本则对训练影响甚微。

Weight Trimming 的思想是每一轮迭代中删除那些低权重的样本,只用高权重样本进行训练。具体是设定一个阈值(比如90%或99%),再将所有样本按权重排序,计算权重的累积和,累积和大于阈值的权重 (样本) 被舍弃,不会用于训练。注意每一轮训练完成后所有样本的权重依然会被重新计算,这意味着之前被舍弃的样本在之后的迭代中如果权重增加,可能会重新用于训练。

参考文献[9]中有使用 Weight Trimming 的 AdaBoost 代码,可供参考。

2.8 参考文献

[1]《机器学习》周志华

[2]《统计学习方法》李航

[3]《机器学习西瓜书之集成学习》爱你的小魔仙 https://www.bilibili.com/video/BV1PK4y147VQ/

[4] 《集成学习 之【Adaboost】 ------ 李航《统计学习方法》相关章节解读》老弓的学习日记 https://www.bilibili.com/video/BV1x44y1r7Zc

[5]《通俗易懂讲算法-Adaboost》青青草原灰太郎 https://www.bilibili.com/video/BV13S4y1t7aY/

[6]《Adaboost是如何训练弱分类器的》herain https://www.zhihu.com/question/443511497?utm_id=0

[7]《集成学习之Boosting ------ AdaBoost原理》wdmad https://zhuanlan.zhihu.com/p/37358517

[8]《集成学习之Boosting ------ AdaBoost实现》wdmad https://zhuanlan.zhihu.com/p/37357981

[9]《AdaBoost 算法》Rnan-prince https://blog.csdn.net/qq_19446965/article/details/104200720

[10]《集成学习(Ensemble learning)》张梓寒 https://www.cnblogs.com/ZihanZhang/p/16351469.html

[11]《Statistical-Learning-Method_Code》Dod-o https://github.com/Dod-o/Statistical-Learning-Method_Code

相关推荐
墨@#≯几秒前
机器学习系列篇章0 --- 人工智能&机器学习相关概念梳理
人工智能·经验分享·机器学习
Elastic 中国社区官方博客8 分钟前
Elasticsearch:使用 LLM 实现传统搜索自动化
大数据·人工智能·elasticsearch·搜索引擎·ai·自动化·全文检索
_.Switch18 分钟前
Python机器学习模型的部署与维护:版本管理、监控与更新策略
开发语言·人工智能·python·算法·机器学习
XiaoLiuLB37 分钟前
ChatGPT Canvas:交互式对话编辑器
人工智能·自然语言处理·chatgpt·编辑器·aigc
Hoper.J37 分钟前
PyTorch 模型保存与加载的三种常用方式
人工智能·pytorch·python
菜就多练_082840 分钟前
《深度学习》OpenCV 摄像头OCR 过程及案例解析
人工智能·深度学习·opencv·ocr
达柳斯·绍达华·宁1 小时前
CNN中的平移不变性和平移等变性
人工智能·神经网络·cnn
技术无疆2 小时前
【Python】Streamlit:为数据科学与机器学习打造的简易应用框架
开发语言·人工智能·python·深度学习·神经网络·机器学习·数据挖掘
xuehaishijue2 小时前
红外画面空中目标检测系统源码分享
人工智能·目标检测·计算机视觉
羊小猪~~2 小时前
机器学习/数据分析--用通俗语言讲解时间序列自回归(AR)模型,并用其预测天气,拟合度98%+
人工智能·python·机器学习·数据挖掘·数据分析·回归·时序数据库