详解Keras3.0 Layer API: Dropout layer

Dropout layer

图1 标准的神经网络

图2 加了Dropout临时删除部分神经元

Dropout层的作用是在神经网络中引入正则化,以防止过拟合。它通过随机丢弃一部分神经元(如图2)的输出来减少模型对训练数据的依赖性。这样可以提高模型的泛化能力,使其在测试数据上表现更好。

Dropout层的核心思想是减小神经网络中权重共享的情况,让不同的神经元可以承担不同的特征提取任务。由于每个神经元被丢弃的概率相同,因此每一轮训练都可能得到不同的网络结构,这有助于提高模型的泛化能力。同时,Dropout也有助于减少神经元之间的依赖性,增强模型的鲁棒性。

工作原理
  • 在训练阶段,对于每一层神经元,以一定的概率p随机选择一部分神经元,将它们的输出置为0。这样,每一层的神经元有p的概率被保留,也有p的概率被丢弃。
  • 在前向传播过程中,每一层神经元的输入会经过Dropout处理,保留概率p的神经元进行计算。
  • 在反向传播过程中,梯度会根据未被丢弃的神经元的权重进行传播。这意味着在更新权重时,被丢弃的神经元的权重不会被更新。
  • 在测试阶段,为了使用训练阶段得到的网络集合,每个神经元的输出需要乘以概率p。这样做的目的是为了在测试时模拟出与训练阶段相同的网络结构。
python 复制代码
keras.layers.Dropout(rate, noise_shape=None, seed=None, **kwargs)
参数说明
  • **rate:**在0和1之间浮动。要丢弃的输入单位的分数。
  • **noise_shape:**表示将与输入相乘的二进制丢弃掩码的形状的1D整数张量。例如,如果输入具有形状(batch_size,时间步长,features),并且希望所有时间步长的丢弃掩码相同,则可以使用noise_shape=(batch_size,1,features.)。
  • **seed:**用作随机种子的Python整数。
示例
python 复制代码
# 导入所需的库
from keras.models import Sequential
from keras.layers import Dense, Dropout

# 创建一个Sequential模型
model = Sequential()

#添加全连接层(Dense)
model.add(Dense(units=64, activation='relu', input_dim=100))

#在全连接层之后添加一个Dropout层,丢弃率为0.5
model.add(Dropout(rate=0.5))

#添加全连接层
model.add(Dense(units=10, activation='softmax'))

#编译模型,设置损失函数、优化器和评估指标
model.compile(loss='categorical_crossentropy',
              optimizer='adam',
              metrics=['accuracy'])
相关推荐
亚马逊云开发者6 分钟前
Strands Agents SDK 助力翰德 Hudson 实现智能招聘新突破
人工智能
张较瘦_6 分钟前
[论文阅读] 人工智能 + 软件工程 | 大模型破局跨平台测试!LLMRR让iOS/安卓/鸿蒙脚本无缝迁移
论文阅读·人工智能·ios
IMER SIMPLE22 分钟前
人工智能-python-深度学习-神经网络-GoogLeNet
人工智能·python·深度学习
钮钴禄·爱因斯晨25 分钟前
深入剖析LLM:从原理到应用与挑战
开发语言·人工智能
InternLM29 分钟前
专为“超大模型而生”,新一代训练引擎 XTuner V1 开源!
人工智能·开源·xtuner·书生大模型·大模型训练框架·大模型预训练·大模型后训练
JT8583961 小时前
AI GEO 优化能否快速提升网站在搜索引擎的排名?
人工智能·搜索引擎
幂律智能1 小时前
吾律——让普惠法律服务走进生活
人工智能·经验分享
IT_陈寒1 小时前
Java性能优化:从这8个关键指标开始,让你的应用提速50%
前端·人工智能·后端
yzx9910131 小时前
构建未来:深度学习、嵌入式与安卓开发的融合创新之路
android·人工智能·深度学习
非门由也1 小时前
《sklearn机器学习——特征提取》
人工智能·机器学习·sklearn