[动手学习深度学习]13.丢弃法 Dropout

权重衰退是常见处理过拟合的方法

丢弃法比权重衰退效果要好

动机

  • 一个好的模型 需要第输入数据的扰动具有鲁棒性
    • 使用有噪音的数据等价于Tikhonov正则
    • 丢弃法:在层之间加入噪音

(所以丢弃法其实是一个正则)

无偏差的加入噪音

  • 对x加入噪音得到x',我们希望
    E [ x ′ ] = x E[x'] = x E[x′]=x
  • 丢弃法对每个元素进行如下扰动

使用

通常将丢弃法作用在隐藏全连接层的输出上

对隐藏层的每一个神经元做dropout,使每一个都有p概率变为0

即去掉一些权重(每次可能去掉的不一样)

在训练中使用

推理中的丢弃法

  • 正则项只在训练中使用:他们影响模型参数的更新

  • 在推理过程中,dropout直接返回输入

    python 复制代码
    h=dropout(h)

    这样也能保证确定性的输出
    每次随机的采样一些子神经网络

总结

  • 丢弃法将一些输出项随机置0来控制模型复杂度
  • 常作用在多层感知机的隐藏层输出上
  • 丢弃概率使控制模型复杂度的超参数
相关推荐
chxin1401635 分钟前
循环神经网络——动手学深度学习7
人工智能·pytorch·rnn·深度学习
摘星编程39 分钟前
MCP提示词工程:上下文注入的艺术与科学
人工智能·提示词工程·a/b测试·mcp·上下文注入
W.KN2 小时前
PyTorch 数据类型和使用
人工智能·pytorch·python
虾饺爱下棋2 小时前
FCN语义分割算法原理与实战
人工智能·python·神经网络·算法
点云SLAM5 小时前
Eigen 中矩阵的拼接(Concatenation)与 分块(Block Access)操作使用详解和示例演示
人工智能·线性代数·算法·矩阵·eigen数学工具库·矩阵分块操作·矩阵拼接操作
悠哉悠哉愿意5 小时前
【电赛学习笔记】MaixCAM 的OCR图片文字识别
笔记·python·嵌入式硬件·学习·视觉检测·ocr
木枷6 小时前
NAS-Bench-101: Towards Reproducible Neural Architecture Search
人工智能·物联网
BAOYUCompany7 小时前
暴雨服务器更懂人工智能+
运维·服务器·人工智能
飞哥数智坊7 小时前
Coze实战第17讲:工资条自动拆分+一对一邮件发送
人工智能·coze
cwn_7 小时前
自然语言处理NLP (1)
人工智能·深度学习·机器学习·自然语言处理