在AdaBoost中每轮训练后,为什么错误分类的样本权重会增大e^2αt倍

在 AdaBoost 的每一轮迭代中,样本 i i i 的权重更新公式为:
w t + 1 , i = w t , i ⋅ exp ⁡ ( − α t y i G t ( x i ) ) Z t w_{t+1,i} = \frac{w_{t,i} \cdot \exp(-\alpha_t y_i G_t(x_i))}{Z_t} wt+1,i=Ztwt,i⋅exp(−αtyiGt(xi))

其中:

  • w t , i w_{t,i} wt,i 是样本 i i i 在第 t t t 轮的权重。
  • α t \alpha_t αt 是该轮弱分类器的权重系数。
  • y i y_i yi 是样本 i i i 的真实标签。
  • G t ( x i ) G_t(x_i) Gt(xi) 是弱分类器 G t G_t Gt 对样本 i i i 的预测结果。
  • Z t Z_t Zt 是归一化因子,用于确保新一轮权重的总和为 1。

权重增大的推导

根据公式,我们分两种情况讨论:

  1. 当样本被正确分类时 ,即 G t ( x i ) = y i G_t(x_i) = y_i Gt(xi)=yi:

    • 在这种情况下, y i G t ( x i ) = 1 y_i G_t(x_i) = 1 yiGt(xi)=1,所以权重更新为:
      w t + 1 , i = w t , i ⋅ exp ⁡ ( − α t ) Z t w_{t+1,i} = \frac{w_{t,i} \cdot \exp(-\alpha_t)}{Z_t} wt+1,i=Ztwt,i⋅exp(−αt)
  2. 当样本被错误分类时 ,即 G t ( x i ) ≠ y i G_t(x_i) \neq y_i Gt(xi)=yi:

    • 在这种情况下, y i G t ( x i ) = − 1 y_i G_t(x_i) = -1 yiGt(xi)=−1,所以权重更新为:
      w t + 1 , i = w t , i ⋅ exp ⁡ ( α t ) Z t w_{t+1,i} = \frac{w_{t,i} \cdot \exp(\alpha_t)}{Z_t} wt+1,i=Ztwt,i⋅exp(αt)

相对增长倍数的计算

为了计算错误分类的样本权重相对于正确分类样本权重的增长倍数,我们可以比较错误分类的样本权重和正确分类的样本权重之比。

  • 错误分类的样本权重更新 : w t + 1 , i 错误 = w t , i ⋅ exp ⁡ ( α t ) Z t w_{t+1,i}^{\text{错误}} = \frac{w_{t,i} \cdot \exp(\alpha_t)}{Z_t} wt+1,i错误=Ztwt,i⋅exp(αt)
  • 正确分类的样本权重更新 : w t + 1 , i 正确 = w t , i ⋅ exp ⁡ ( − α t ) Z t w_{t+1,i}^{\text{正确}} = \frac{w_{t,i} \cdot \exp(-\alpha_t)}{Z_t} wt+1,i正确=Ztwt,i⋅exp(−αt)

计算它们的比值,即:

w t + 1 , i 错误 w t + 1 , i 正确 = w t , i ⋅ exp ⁡ ( α t ) Z t w t , i ⋅ exp ⁡ ( − α t ) Z t = exp ⁡ ( 2 α t ) \frac{w_{t+1,i}^{\text{错误}}}{w_{t+1,i}^{\text{正确}}} = \frac{\frac{w_{t,i} \cdot \exp(\alpha_t)}{Z_t}}{\frac{w_{t,i} \cdot \exp(-\alpha_t)}{Z_t}} = \exp(2\alpha_t) wt+1,i正确wt+1,i错误=Ztwt,i⋅exp(−αt)Ztwt,i⋅exp(αt)=exp(2αt)

结论

因此,相对于正确分类的样本,错误分类的样本权重确实增大了 e 2 α t e^{2\alpha_t} e2αt 倍。这个比值反映了AdaBoost通过增加权重让后续的弱分类器更多关注错误分类样本的机制。

相关推荐
旧故新长4 分钟前
支持Function Call的本地ollama模型对比评测-》开发代理agent
人工智能·深度学习·机器学习
微学AI17 分钟前
融合注意力机制和BiGRU的电力领域发电量预测项目研究,并给出相关代码
人工智能·深度学习·自然语言处理·注意力机制·bigru
知来者逆28 分钟前
计算机视觉——速度与精度的完美结合的实时目标检测算法RF-DETR详解
图像处理·人工智能·深度学习·算法·目标检测·计算机视觉·rf-detr
一勺汤31 分钟前
YOLOv11改进-双Backbone架构:利用双backbone提高yolo11目标检测的精度
人工智能·yolo·双backbone·double backbone·yolo11 backbone·yolo 双backbone
武汉唯众智创33 分钟前
高职人工智能技术应用专业(计算机视觉方向)实训室解决方案
人工智能·计算机视觉·人工智能实训室·计算机视觉实训室·人工智能计算机视觉实训室
Johny_Zhao44 分钟前
MySQL 高可用集群搭建部署
linux·人工智能·mysql·信息安全·云计算·shell·yum源·系统运维·itsm
一只可爱的小猴子1 小时前
2022李宏毅老师机器学习课程笔记
人工智能·笔记·机器学习
地瓜机器人1 小时前
乐聚机器人与地瓜机器人达成战略合作,联合发布Aelos Embodied具身智能
人工智能·机器人
带娃的IT创业者1 小时前
《AI大模型趣味实战》基于RAG向量数据库的知识库AI问答助手设计与实现
数据库·人工智能
__Benco1 小时前
OpenHarmony - 小型系统内核(LiteOS-A)(十),魔法键使用方法,用户态异常信息说明
人工智能·harmonyos