丢弃法-Dropout

动机

好的模型需要对输入数据的扰动鲁棒性

  • 使用有噪音的数据等价于Ti正则
  • 丢弃法: 在层之间加入噪音

无偏差加入噪音

x加入噪音得到x', 希望E[x′]=xE[x']=xE[x′]=x

丢弃法对每个元素进行如下操作
xi′={0with probablity pxi1−p otherise x_i^{'} = \begin{cases} 0 & with \ probablity \ p \\ \frac{x_i}{1-p} & \ otherise \end{cases} xi′={01−pxiwith probablity p otherise

其中xi1−p\frac{x_i}{1-p}1−pxi中1-p代表原始的概率,所以:
E[xi′]=p∗0+(1−p)xi′1−p=xi E[x_i^{'}] = p * 0 + (1-p)\frac{x_i^{'}}{1-p} \\ = x_i E[xi′]=p∗0+(1−p)1−pxi′=xi

如何使用丢弃法(Dropout)

丢弃法通常作用在隐藏全连接的输出上
h=σ(W1x+b1)h′=dropout(h)o=W2h′+b2y=softmax(o) h = \sigma(W_1x+b_1) \\ h' = dropout(h) \\ o = W_2h^{'} + b_2 \\ y = softmax(o) h=σ(W1x+b1)h′=dropout(h)o=W2h′+b2y=softmax(o)

其中hhh是第一个隐藏层的结果
原始的网络结构

(模拟)加入Dropout的网路结构

其中红色标记的位置是被随机为0的单元

丢弃法的作用范围

丢弃法只在训练中使用,添加正则项, 只影响参数的更新
推理过程中丢弃法
h=dropout(h)h = dropout(h)h=dropout(h)

输出的结果等于输入的结果

相关推荐
yueyuebaobaoxinx2 小时前
2025 AI 图景:从工具革命到生态重构的生存逻辑
人工智能·重构
拉一次撑死狗2 小时前
TensorFlow(1)
人工智能·python·tensorflow
m0_650108242 小时前
【论文精读】Group Collaborative Learning for Co-Salient Object Detection
人工智能·计算机视觉·论文精读·gam·共显著性目标检测·组协同学习·gcm
cyyt3 小时前
深度学习周报(9.22~9.28)
深度学习·attention·量子计算
董厂长3 小时前
SubAgent的“指令漂移 (Instruction Drift)“困境
人工智能·agent·mcp·subagent
金井PRATHAMA3 小时前
框架系统在自然语言处理深度语义分析中的作用、挑战与未来展望
人工智能·自然语言处理·知识图谱
小李独爱秋3 小时前
【机器学习宝藏】深入解析经典人脸识别数据集:Olivetti Faces
人工智能·python·机器学习·计算机视觉·人脸识别·olivetti
2401_841495643 小时前
【自然语言处理】文本表示知识点梳理与习题总结
人工智能·自然语言处理·词向量·文本表示·独热编码·词-词共现矩阵·静态词嵌入
艾醒3 小时前
大模型面试题剖析:模型微调中冷启动与热启动的概念、阶段与实例解析
深度学习·算法