在AdaBoost中每轮训练后,为什么错误分类的样本权重会增大e^2αt倍

在 AdaBoost 的每一轮迭代中,样本 i i i 的权重更新公式为:
w t + 1 , i = w t , i ⋅ exp ⁡ ( − α t y i G t ( x i ) ) Z t w_{t+1,i} = \frac{w_{t,i} \cdot \exp(-\alpha_t y_i G_t(x_i))}{Z_t} wt+1,i=Ztwt,i⋅exp(−αtyiGt(xi))

其中:

  • w t , i w_{t,i} wt,i 是样本 i i i 在第 t t t 轮的权重。
  • α t \alpha_t αt 是该轮弱分类器的权重系数。
  • y i y_i yi 是样本 i i i 的真实标签。
  • G t ( x i ) G_t(x_i) Gt(xi) 是弱分类器 G t G_t Gt 对样本 i i i 的预测结果。
  • Z t Z_t Zt 是归一化因子,用于确保新一轮权重的总和为 1。

权重增大的推导

根据公式,我们分两种情况讨论:

  1. 当样本被正确分类时 ,即 G t ( x i ) = y i G_t(x_i) = y_i Gt(xi)=yi:

    • 在这种情况下, y i G t ( x i ) = 1 y_i G_t(x_i) = 1 yiGt(xi)=1,所以权重更新为:
      w t + 1 , i = w t , i ⋅ exp ⁡ ( − α t ) Z t w_{t+1,i} = \frac{w_{t,i} \cdot \exp(-\alpha_t)}{Z_t} wt+1,i=Ztwt,i⋅exp(−αt)
  2. 当样本被错误分类时 ,即 G t ( x i ) ≠ y i G_t(x_i) \neq y_i Gt(xi)=yi:

    • 在这种情况下, y i G t ( x i ) = − 1 y_i G_t(x_i) = -1 yiGt(xi)=−1,所以权重更新为:
      w t + 1 , i = w t , i ⋅ exp ⁡ ( α t ) Z t w_{t+1,i} = \frac{w_{t,i} \cdot \exp(\alpha_t)}{Z_t} wt+1,i=Ztwt,i⋅exp(αt)

相对增长倍数的计算

为了计算错误分类的样本权重相对于正确分类样本权重的增长倍数,我们可以比较错误分类的样本权重和正确分类的样本权重之比。

  • 错误分类的样本权重更新 : w t + 1 , i 错误 = w t , i ⋅ exp ⁡ ( α t ) Z t w_{t+1,i}^{\text{错误}} = \frac{w_{t,i} \cdot \exp(\alpha_t)}{Z_t} wt+1,i错误=Ztwt,i⋅exp(αt)
  • 正确分类的样本权重更新 : w t + 1 , i 正确 = w t , i ⋅ exp ⁡ ( − α t ) Z t w_{t+1,i}^{\text{正确}} = \frac{w_{t,i} \cdot \exp(-\alpha_t)}{Z_t} wt+1,i正确=Ztwt,i⋅exp(−αt)

计算它们的比值,即:

w t + 1 , i 错误 w t + 1 , i 正确 = w t , i ⋅ exp ⁡ ( α t ) Z t w t , i ⋅ exp ⁡ ( − α t ) Z t = exp ⁡ ( 2 α t ) \frac{w_{t+1,i}^{\text{错误}}}{w_{t+1,i}^{\text{正确}}} = \frac{\frac{w_{t,i} \cdot \exp(\alpha_t)}{Z_t}}{\frac{w_{t,i} \cdot \exp(-\alpha_t)}{Z_t}} = \exp(2\alpha_t) wt+1,i正确wt+1,i错误=Ztwt,i⋅exp(−αt)Ztwt,i⋅exp(αt)=exp(2αt)

结论

因此,相对于正确分类的样本,错误分类的样本权重确实增大了 e 2 α t e^{2\alpha_t} e2αt 倍。这个比值反映了AdaBoost通过增加权重让后续的弱分类器更多关注错误分类样本的机制。

相关推荐
Topstip12 分钟前
在 Google Chrome 上查找并安装 SearchGPT 扩展
前端·人工智能·chrome·gpt·ai·chatgpt
python_知世31 分钟前
AI时代:成为产品经理的核心路径
人工智能·深度学习·程序人生·自然语言处理·产品经理·计算机技术·大模型应用
这个男人是小帅31 分钟前
【GCN】 代码详解 (1) 如何运行【pytorch】可运行版本
人工智能·pytorch·python·深度学习·分类
cv-daily32 分钟前
优化模型训练过程中的显存使用率、GPU使用率
人工智能
Jason-河山41 分钟前
人工智能技术:未来生活的“魔法师”
人工智能·生活
电子手信1 小时前
教育机构如何利用知识中台进行数字教学
大数据·人工智能·自然语言处理·自动化
深度学习实战训练营1 小时前
HyperGAT模型复现微博文本情绪多分类
人工智能·分类·数据挖掘
阿_旭2 小时前
实战| 使用深度学习分割和计算水体和农田面积【Pytorch附源码】
人工智能·pytorch·深度学习·ai·目标分割
bw8767206872 小时前
人工智能--JupyterNoteBook 转换成 PDF
人工智能·机器学习·pdf
说私域2 小时前
以客户为导向在开源 AI 智能名片 2 + 1 链动模式 S2B2C 商城小程序内容创作中的实践与价值
人工智能·小程序·开源