详解Keras3.0 Layer API: Dropout layer

Dropout layer

图1 标准的神经网络

图2 加了Dropout临时删除部分神经元

Dropout层的作用是在神经网络中引入正则化,以防止过拟合。它通过随机丢弃一部分神经元(如图2)的输出来减少模型对训练数据的依赖性。这样可以提高模型的泛化能力,使其在测试数据上表现更好。

Dropout层的核心思想是减小神经网络中权重共享的情况,让不同的神经元可以承担不同的特征提取任务。由于每个神经元被丢弃的概率相同,因此每一轮训练都可能得到不同的网络结构,这有助于提高模型的泛化能力。同时,Dropout也有助于减少神经元之间的依赖性,增强模型的鲁棒性。

工作原理
  • 在训练阶段,对于每一层神经元,以一定的概率p随机选择一部分神经元,将它们的输出置为0。这样,每一层的神经元有p的概率被保留,也有p的概率被丢弃。
  • 在前向传播过程中,每一层神经元的输入会经过Dropout处理,保留概率p的神经元进行计算。
  • 在反向传播过程中,梯度会根据未被丢弃的神经元的权重进行传播。这意味着在更新权重时,被丢弃的神经元的权重不会被更新。
  • 在测试阶段,为了使用训练阶段得到的网络集合,每个神经元的输出需要乘以概率p。这样做的目的是为了在测试时模拟出与训练阶段相同的网络结构。
python 复制代码
keras.layers.Dropout(rate, noise_shape=None, seed=None, **kwargs)
参数说明
  • **rate:**在0和1之间浮动。要丢弃的输入单位的分数。
  • **noise_shape:**表示将与输入相乘的二进制丢弃掩码的形状的1D整数张量。例如,如果输入具有形状(batch_size,时间步长,features),并且希望所有时间步长的丢弃掩码相同,则可以使用noise_shape=(batch_size,1,features.)。
  • **seed:**用作随机种子的Python整数。
示例
python 复制代码
# 导入所需的库
from keras.models import Sequential
from keras.layers import Dense, Dropout

# 创建一个Sequential模型
model = Sequential()

#添加全连接层(Dense)
model.add(Dense(units=64, activation='relu', input_dim=100))

#在全连接层之后添加一个Dropout层,丢弃率为0.5
model.add(Dropout(rate=0.5))

#添加全连接层
model.add(Dense(units=10, activation='softmax'))

#编译模型,设置损失函数、优化器和评估指标
model.compile(loss='categorical_crossentropy',
              optimizer='adam',
              metrics=['accuracy'])
相关推荐
卧式纯绿2 分钟前
每日文献(八)——Part one
人工智能·yolo·目标检测·计算机视觉·目标跟踪·cnn
巷9559 分钟前
OpenCV图像形态学:原理、操作与应用详解
人工智能·opencv·计算机视觉
深蓝易网38 分钟前
为什么制造企业需要用MES管理系统升级改造车间
大数据·运维·人工智能·制造·devops
xiangzhihong81 小时前
Amodal3R ,南洋理工推出的 3D 生成模型
人工智能·深度学习·计算机视觉
狂奔solar1 小时前
diffusion-vas 提升遮挡区域的分割精度
人工智能·深度学习
资源大全免费分享1 小时前
MacOS 的 AI Agent 新星,本地沙盒驱动,解锁 macOS 操作新体验!
人工智能·macos·策略模式
跳跳糖炒酸奶2 小时前
第四章、Isaacsim在GUI中构建机器人(2):组装一个简单的机器人
人工智能·python·算法·ubuntu·机器人
AI.NET 极客圈2 小时前
AI与.NET技术实操系列(四):使用 Semantic Kernel 和 DeepSeek 构建AI应用
人工智能·.net
Debroon2 小时前
应华为 AI 医疗军团之战,各方动态和反应
人工智能·华为
俊哥V2 小时前
阿里通义千问发布全模态开源大模型Qwen2.5-Omni-7B
人工智能·ai