丢弃法-Dropout

动机

好的模型需要对输入数据的扰动鲁棒性

  • 使用有噪音的数据等价于Ti正则
  • 丢弃法: 在层之间加入噪音

无偏差加入噪音

x加入噪音得到x', 希望E[x′]=xE[x']=xE[x′]=x

丢弃法对每个元素进行如下操作
xi′={0with probablity pxi1−p otherise x_i^{'} = \begin{cases} 0 & with \ probablity \ p \\ \frac{x_i}{1-p} & \ otherise \end{cases} xi′={01−pxiwith probablity p otherise

其中xi1−p\frac{x_i}{1-p}1−pxi中1-p代表原始的概率,所以:
E[xi′]=p∗0+(1−p)xi′1−p=xi E[x_i^{'}] = p * 0 + (1-p)\frac{x_i^{'}}{1-p} \\ = x_i E[xi′]=p∗0+(1−p)1−pxi′=xi

如何使用丢弃法(Dropout)

丢弃法通常作用在隐藏全连接的输出上
h=σ(W1x+b1)h′=dropout(h)o=W2h′+b2y=softmax(o) h = \sigma(W_1x+b_1) \\ h' = dropout(h) \\ o = W_2h^{'} + b_2 \\ y = softmax(o) h=σ(W1x+b1)h′=dropout(h)o=W2h′+b2y=softmax(o)

其中hhh是第一个隐藏层的结果
原始的网络结构

(模拟)加入Dropout的网路结构

其中红色标记的位置是被随机为0的单元

丢弃法的作用范围

丢弃法只在训练中使用,添加正则项, 只影响参数的更新
推理过程中丢弃法
h=dropout(h)h = dropout(h)h=dropout(h)

输出的结果等于输入的结果

相关推荐
张登杰踩25 分钟前
工业产品表面缺陷检测方法综述:从传统视觉到深度学习
人工智能·深度学习
sponge'35 分钟前
opencv学习笔记6:SVM分类器
人工智能·机器学习·支持向量机·1024程序员节
zandy10111 小时前
2025年AI IDE的深度评测与推荐:从单一功能效率转向生态壁垒
ide·人工智能
旋转小马1 小时前
XGBoost完整学习指南:从数据清洗到模型调参
机器学习·scikit-learn·xgboost·1024程序员节
andyguo1 小时前
ChatGPT Atlas vs Chrome:AI 浏览器的新纪元
人工智能·chrome·chatgpt
北京迅为1 小时前
【北京迅为】iTOP-4412精英版使用手册-第六十七章 USB鼠标驱动详解
linux·人工智能·嵌入式·4412
DKunYu2 小时前
2.1线性回归
pytorch·python·深度学习·1024程序员节
余俊晖2 小时前
RLVR训练多模态文档解析模型-olmOCR 2技术方案(模型、数据和代码均开源)
人工智能·算法·ocr·grpo
这张生成的图像能检测吗2 小时前
(论文速读)开放词汇3D场景理解的掩蔽点-实体对比
人工智能·计算机视觉·图像生成·1024程序员节·开放词汇·3d重建
大象耶3 小时前
计算机视觉六大前沿创新方向
论文阅读·人工智能·深度学习·计算机网络·机器学习