在AdaBoost中每轮训练后,为什么错误分类的样本权重会增大e^2αt倍

在 AdaBoost 的每一轮迭代中,样本 i i i 的权重更新公式为:
w t + 1 , i = w t , i ⋅ exp ⁡ ( − α t y i G t ( x i ) ) Z t w_{t+1,i} = \frac{w_{t,i} \cdot \exp(-\alpha_t y_i G_t(x_i))}{Z_t} wt+1,i=Ztwt,i⋅exp(−αtyiGt(xi))

其中:

  • w t , i w_{t,i} wt,i 是样本 i i i 在第 t t t 轮的权重。
  • α t \alpha_t αt 是该轮弱分类器的权重系数。
  • y i y_i yi 是样本 i i i 的真实标签。
  • G t ( x i ) G_t(x_i) Gt(xi) 是弱分类器 G t G_t Gt 对样本 i i i 的预测结果。
  • Z t Z_t Zt 是归一化因子,用于确保新一轮权重的总和为 1。

权重增大的推导

根据公式,我们分两种情况讨论:

  1. 当样本被正确分类时 ,即 G t ( x i ) = y i G_t(x_i) = y_i Gt(xi)=yi:

    • 在这种情况下, y i G t ( x i ) = 1 y_i G_t(x_i) = 1 yiGt(xi)=1,所以权重更新为:
      w t + 1 , i = w t , i ⋅ exp ⁡ ( − α t ) Z t w_{t+1,i} = \frac{w_{t,i} \cdot \exp(-\alpha_t)}{Z_t} wt+1,i=Ztwt,i⋅exp(−αt)
  2. 当样本被错误分类时 ,即 G t ( x i ) ≠ y i G_t(x_i) \neq y_i Gt(xi)=yi:

    • 在这种情况下, y i G t ( x i ) = − 1 y_i G_t(x_i) = -1 yiGt(xi)=−1,所以权重更新为:
      w t + 1 , i = w t , i ⋅ exp ⁡ ( α t ) Z t w_{t+1,i} = \frac{w_{t,i} \cdot \exp(\alpha_t)}{Z_t} wt+1,i=Ztwt,i⋅exp(αt)

相对增长倍数的计算

为了计算错误分类的样本权重相对于正确分类样本权重的增长倍数,我们可以比较错误分类的样本权重和正确分类的样本权重之比。

  • 错误分类的样本权重更新 : w t + 1 , i 错误 = w t , i ⋅ exp ⁡ ( α t ) Z t w_{t+1,i}^{\text{错误}} = \frac{w_{t,i} \cdot \exp(\alpha_t)}{Z_t} wt+1,i错误=Ztwt,i⋅exp(αt)
  • 正确分类的样本权重更新 : w t + 1 , i 正确 = w t , i ⋅ exp ⁡ ( − α t ) Z t w_{t+1,i}^{\text{正确}} = \frac{w_{t,i} \cdot \exp(-\alpha_t)}{Z_t} wt+1,i正确=Ztwt,i⋅exp(−αt)

计算它们的比值,即:

w t + 1 , i 错误 w t + 1 , i 正确 = w t , i ⋅ exp ⁡ ( α t ) Z t w t , i ⋅ exp ⁡ ( − α t ) Z t = exp ⁡ ( 2 α t ) \frac{w_{t+1,i}^{\text{错误}}}{w_{t+1,i}^{\text{正确}}} = \frac{\frac{w_{t,i} \cdot \exp(\alpha_t)}{Z_t}}{\frac{w_{t,i} \cdot \exp(-\alpha_t)}{Z_t}} = \exp(2\alpha_t) wt+1,i正确wt+1,i错误=Ztwt,i⋅exp(−αt)Ztwt,i⋅exp(αt)=exp(2αt)

结论

因此,相对于正确分类的样本,错误分类的样本权重确实增大了 e 2 α t e^{2\alpha_t} e2αt 倍。这个比值反映了AdaBoost通过增加权重让后续的弱分类器更多关注错误分类样本的机制。

相关推荐
算AI1 小时前
人工智能+牙科:临床应用中的几个问题
人工智能·算法
凯子坚持 c2 小时前
基于飞桨框架3.0本地DeepSeek-R1蒸馏版部署实战
人工智能·paddlepaddle
你觉得2052 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
8K超高清2 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
hyshhhh3 小时前
【算法岗面试题】深度学习中如何防止过拟合?
网络·人工智能·深度学习·神经网络·算法·计算机视觉
薛定谔的猫-菜鸟程序员3 小时前
零基础玩转深度神经网络大模型:从Hello World到AI炼金术-详解版(含:Conda 全面使用指南)
人工智能·神经网络·dnn
币之互联万物3 小时前
2025 AI智能数字农业研讨会在苏州启幕,科技助农与数据兴业成焦点
人工智能·科技
云卓SKYDROID3 小时前
科技赋能消防:无人机“挂弹灭火“构筑森林防火墙!
人工智能·科技·无人机·科普·云卓科技
gaoshengdainzi3 小时前
镜片防雾性能测试仪在自动驾驶与无人机领域的创新应用
人工智能·自动驾驶·无人机·镜片防雾性能测试仪
Listennnn4 小时前
优雅的理解神经网络中的“分段线性单元”,解剖前向和反向传播
人工智能·深度学习·神经网络