在AdaBoost中每轮训练后,为什么错误分类的样本权重会增大e^2αt倍

在 AdaBoost 的每一轮迭代中,样本 i i i 的权重更新公式为:
w t + 1 , i = w t , i ⋅ exp ⁡ ( − α t y i G t ( x i ) ) Z t w_{t+1,i} = \frac{w_{t,i} \cdot \exp(-\alpha_t y_i G_t(x_i))}{Z_t} wt+1,i=Ztwt,i⋅exp(−αtyiGt(xi))

其中:

  • w t , i w_{t,i} wt,i 是样本 i i i 在第 t t t 轮的权重。
  • α t \alpha_t αt 是该轮弱分类器的权重系数。
  • y i y_i yi 是样本 i i i 的真实标签。
  • G t ( x i ) G_t(x_i) Gt(xi) 是弱分类器 G t G_t Gt 对样本 i i i 的预测结果。
  • Z t Z_t Zt 是归一化因子,用于确保新一轮权重的总和为 1。

权重增大的推导

根据公式,我们分两种情况讨论:

  1. 当样本被正确分类时 ,即 G t ( x i ) = y i G_t(x_i) = y_i Gt(xi)=yi:

    • 在这种情况下, y i G t ( x i ) = 1 y_i G_t(x_i) = 1 yiGt(xi)=1,所以权重更新为:
      w t + 1 , i = w t , i ⋅ exp ⁡ ( − α t ) Z t w_{t+1,i} = \frac{w_{t,i} \cdot \exp(-\alpha_t)}{Z_t} wt+1,i=Ztwt,i⋅exp(−αt)
  2. 当样本被错误分类时 ,即 G t ( x i ) ≠ y i G_t(x_i) \neq y_i Gt(xi)=yi:

    • 在这种情况下, y i G t ( x i ) = − 1 y_i G_t(x_i) = -1 yiGt(xi)=−1,所以权重更新为:
      w t + 1 , i = w t , i ⋅ exp ⁡ ( α t ) Z t w_{t+1,i} = \frac{w_{t,i} \cdot \exp(\alpha_t)}{Z_t} wt+1,i=Ztwt,i⋅exp(αt)

相对增长倍数的计算

为了计算错误分类的样本权重相对于正确分类样本权重的增长倍数,我们可以比较错误分类的样本权重和正确分类的样本权重之比。

  • 错误分类的样本权重更新 : w t + 1 , i 错误 = w t , i ⋅ exp ⁡ ( α t ) Z t w_{t+1,i}^{\text{错误}} = \frac{w_{t,i} \cdot \exp(\alpha_t)}{Z_t} wt+1,i错误=Ztwt,i⋅exp(αt)
  • 正确分类的样本权重更新 : w t + 1 , i 正确 = w t , i ⋅ exp ⁡ ( − α t ) Z t w_{t+1,i}^{\text{正确}} = \frac{w_{t,i} \cdot \exp(-\alpha_t)}{Z_t} wt+1,i正确=Ztwt,i⋅exp(−αt)

计算它们的比值,即:

w t + 1 , i 错误 w t + 1 , i 正确 = w t , i ⋅ exp ⁡ ( α t ) Z t w t , i ⋅ exp ⁡ ( − α t ) Z t = exp ⁡ ( 2 α t ) \frac{w_{t+1,i}^{\text{错误}}}{w_{t+1,i}^{\text{正确}}} = \frac{\frac{w_{t,i} \cdot \exp(\alpha_t)}{Z_t}}{\frac{w_{t,i} \cdot \exp(-\alpha_t)}{Z_t}} = \exp(2\alpha_t) wt+1,i正确wt+1,i错误=Ztwt,i⋅exp(−αt)Ztwt,i⋅exp(αt)=exp(2αt)

结论

因此,相对于正确分类的样本,错误分类的样本权重确实增大了 e 2 α t e^{2\alpha_t} e2αt 倍。这个比值反映了AdaBoost通过增加权重让后续的弱分类器更多关注错误分类样本的机制。

相关推荐
安思派Anspire7 分钟前
再见 RAG?Gemini 2.0 Flash 刚刚 “杀死” 了它!
人工智能
FF-Studio10 分钟前
【硬核数学】3. AI如何应对不确定性?概率论为模型注入“灵魂”《从零构建机器学习、深度学习到LLM的数学认知》
大数据·人工智能·深度学习·机器学习·数学建模·自然语言处理·概率论
master-dragon13 分钟前
spring-ai 工作流
人工智能·spring·ai
张德锋16 分钟前
Pytorch实现CIFAR10彩色图片识别
机器学习
moonless022243 分钟前
🌈Transformer说人话版(二)位置编码 【持续更新ing】
人工智能·llm
小爷毛毛_卓寿杰43 分钟前
基于大模型与知识图谱的对话引导意图澄清系统技术解析
人工智能·llm
聚客AI1 小时前
解构高效提示工程:分层模型、文本扩展引擎与可视化调试全链路指南
人工智能·llm·掘金·日新计划
摆烂工程师1 小时前
Claude Code 落地实践的工作简易流程
人工智能·claude·敏捷开发
亚马逊云开发者1 小时前
得心应手:探索 MCP 与数据库结合的应用场景
人工智能
大明哥_1 小时前
100 个 Coze 精品案例 - 小红书爆款图文,单篇点赞 20000+,用 Coze 智能体一键生成有声儿童绘本!
人工智能