【机器学习基础】nn.Dropout的用法

1.nn.Dropout用法一

一句话总结:Dropout的是为了防止过拟合而设置

  • 详解:
    1.Dropout是为了防止过拟合而设置的
    2.Dropout顾名思义有丢掉的意思
    3.nn.Dropout(p = 0.3) # 表示每个神经元有0.3的可能性不被激活
    4.Dropout只能用在训练部分而不能用在测试部分
    5.Dropout一般用在全连接神经网络映射层之后,如代码的nn.Linear(20, 30)之后

代码部分:

python 复制代码
class Dropout(nn.Module):
	def __init__(self):
		super(Dropout, self).__init__()
		self.linear = nn.Linear(20, 40)
		self.dropout = nn.Dropout(p = 0.3) # p=0.3表示下图(a)中的神经元有p = 0.3的概率不被激活

	def forward(self, inputs):
		out = self.linear(inputs)
		out = self.dropout(out)
		return out

net = Dropout()
# Dropout只能用在train而不能用在test	

2.nn.Dropout用法二

python 复制代码
import torch
import torch.nn as nn

a = torch.randn(4, 4)
print(a)
"""
tensor([[ 1.2615, -0.6423, -0.4142,  1.2982],
        [ 0.2615,  1.3260, -1.1333, -1.6835],
        [ 0.0370, -1.0904,  0.5964, -0.1530],
        [ 1.1799, -0.3718,  1.7287, -1.5651]])
"""
dropout = nn.Dropout()
b = dropout(a)
print(b)
"""
tensor([[ 2.5230, -0.0000, -0.0000,  2.5964],
        [ 0.0000,  0.0000, -0.0000, -0.0000],
        [ 0.0000, -0.0000,  1.1928, -0.3060],
        [ 0.0000, -0.7436,  0.0000, -3.1303]])
"""

由以上代码可知Dropout还可以将部分tensor中的值置为0

https://blog.csdn.net/weixin_47050107/article/details/122722516

相关推荐
Elastic 中国社区官方博客3 分钟前
带地图的 RAG:多模态 + 地理空间 在 Elasticsearch 中
大数据·人工智能·elasticsearch·搜索引擎·ai·语言模型·全文检索
云卓SKYDROID4 分钟前
无人机云台电压类型及测量方法
人工智能·目标跟踪·无人机·高科技·航线系统
云雾J视界19 分钟前
AI时代技术面试重构:谷歌如何用Vibe Coding与抗作弊革命重塑招聘
人工智能·google·面试·重构·谷歌·ai工具·技术面试
BFT白芙堂20 分钟前
GRASP 实验室研究 论文解读 | 机器人交互:基于神经网络引导变分推理的快速失配估计
人工智能·神经网络·机器学习·mvc·人机交互·科研教育机器人·具身智能平台
深蓝学院21 分钟前
智源研究院新研究:突破物理世界智能边界的RoboBrain 2.0,将重构具身AI能力天花板
人工智能·重构
做萤石二次开发的哈哈24 分钟前
萤石安全生产监管解决方案:构建企业安全智能化防护网
大数据·人工智能
万米商云25 分钟前
碎片化采购是座金矿:数字化正重构电子元器件分销的价值链
大数据·人工智能·电子元器件·供应链采购
GoldenSpider.AI27 分钟前
马斯克访谈深度解读:机器人、AI芯片与人类文明的未来
人工智能·机器人·starlink·spacex·tesla·elon musk·optimus
伊莲娜生活27 分钟前
大健康时代下的平台电商:VTN平台以科研创新重构健康美丽消费生态
人工智能·物联网·重构
健康有益科技28 分钟前
大模型食材识别技术革新:AI重构精准营养管理
大数据·人工智能·计算机视觉·重构