详解Keras3.0 Layer API: Dropout layer

Dropout layer

图1 标准的神经网络

图2 加了Dropout临时删除部分神经元

Dropout层的作用是在神经网络中引入正则化,以防止过拟合。它通过随机丢弃一部分神经元(如图2)的输出来减少模型对训练数据的依赖性。这样可以提高模型的泛化能力,使其在测试数据上表现更好。

Dropout层的核心思想是减小神经网络中权重共享的情况,让不同的神经元可以承担不同的特征提取任务。由于每个神经元被丢弃的概率相同,因此每一轮训练都可能得到不同的网络结构,这有助于提高模型的泛化能力。同时,Dropout也有助于减少神经元之间的依赖性,增强模型的鲁棒性。

工作原理
  • 在训练阶段,对于每一层神经元,以一定的概率p随机选择一部分神经元,将它们的输出置为0。这样,每一层的神经元有p的概率被保留,也有p的概率被丢弃。
  • 在前向传播过程中,每一层神经元的输入会经过Dropout处理,保留概率p的神经元进行计算。
  • 在反向传播过程中,梯度会根据未被丢弃的神经元的权重进行传播。这意味着在更新权重时,被丢弃的神经元的权重不会被更新。
  • 在测试阶段,为了使用训练阶段得到的网络集合,每个神经元的输出需要乘以概率p。这样做的目的是为了在测试时模拟出与训练阶段相同的网络结构。
python 复制代码
keras.layers.Dropout(rate, noise_shape=None, seed=None, **kwargs)
参数说明
  • **rate:**在0和1之间浮动。要丢弃的输入单位的分数。
  • **noise_shape:**表示将与输入相乘的二进制丢弃掩码的形状的1D整数张量。例如,如果输入具有形状(batch_size,时间步长,features),并且希望所有时间步长的丢弃掩码相同,则可以使用noise_shape=(batch_size,1,features.)。
  • **seed:**用作随机种子的Python整数。
示例
python 复制代码
# 导入所需的库
from keras.models import Sequential
from keras.layers import Dense, Dropout

# 创建一个Sequential模型
model = Sequential()

#添加全连接层(Dense)
model.add(Dense(units=64, activation='relu', input_dim=100))

#在全连接层之后添加一个Dropout层,丢弃率为0.5
model.add(Dropout(rate=0.5))

#添加全连接层
model.add(Dense(units=10, activation='softmax'))

#编译模型,设置损失函数、优化器和评估指标
model.compile(loss='categorical_crossentropy',
              optimizer='adam',
              metrics=['accuracy'])
相关推荐
Naomi52114 分钟前
Trustworthy Machine Learning
人工智能·机器学习
刘 怼怼27 分钟前
使用 Vue 重构 RAGFlow 实现聊天功能
前端·vue.js·人工智能·重构
程序员安仔28 分钟前
每天学新 AI 工具好累?我终于发现了“一键全能且免费不限量”的国产终极解决方案
人工智能
闭月之泪舞28 分钟前
OpenCv(五)——边缘检测
人工智能·计算机视觉
星霜旅人30 分钟前
K-均值聚类
人工智能·机器学习
lilye6642 分钟前
程序化广告行业(39/89):广告投放的数据分析与优化秘籍
大数据·人工智能·数据分析
欧雷殿43 分钟前
再谈愚蠢的「八股文」面试
前端·人工智能·面试
修复bug1 小时前
trae.ai 编辑器:前端开发者的智能效率革命
人工智能·编辑器·aigc
掘金安东尼1 小时前
为什么GPT-4o可以生成吉卜力风格照片,原理是什么?
人工智能
机器鱼2 小时前
1.2 基于卷积神经网络与SE注意力的轴承故障诊断
深度学习·机器学习·cnn