【Pytorch】model.eval()与model.train()

model.train():

作用是启用Batch Normalization 和 Dropout

如果模型中有BN层(Batch Normalization)和Dropout,需要在训练时添加model.train()。model.train()是保证BN层能够用到每一批数据的均值和方差。对于Dropout,model.train()是随机取一部分网络连接来训练更新参数。

model.eval():

如果模型中有BN层(Batch Normalization)和Dropout,在测试时添加model.eval()。保证BN层能够用全部训练数据的均值和方差,即测试过程中要保证BN层的均值和方差不变。对于Dropout,model.eval()是利用到了所有网络连接,即不进行随机舍弃神经元。

训练完train样本后,生成的模型model要用来测试样本。在测试集上进行测试之前,需要加上model.eval(),否则的话,有输入数据,即使不训练,它也会改变权值。这是model中含有BN层和Dropout所带来的的性质。

相关推荐
黄焖鸡能干四碗2 分钟前
智慧教育,智慧校园,智慧安防学校建设解决方案(PPT+WORD)
java·大数据·开发语言·数据库·人工智能
IMER SIMPLE3 分钟前
人工智能-python-深度学习-经典网络模型-LeNets5
人工智能·python·深度学习
却道天凉_好个秋9 分钟前
深度学习(五):过拟合、欠拟合与代价函数
人工智能·深度学习·过拟合·欠拟合·代价函数
亚马逊云开发者21 分钟前
Strands Agents SDK 助力翰德 Hudson 实现智能招聘新突破
人工智能
张较瘦_21 分钟前
[论文阅读] 人工智能 + 软件工程 | 大模型破局跨平台测试!LLMRR让iOS/安卓/鸿蒙脚本无缝迁移
论文阅读·人工智能·ios
IMER SIMPLE37 分钟前
人工智能-python-深度学习-神经网络-GoogLeNet
人工智能·python·深度学习
钮钴禄·爱因斯晨40 分钟前
深入剖析LLM:从原理到应用与挑战
开发语言·人工智能
強云42 分钟前
cuda + cudnn + pytorch (win10)
pytorch
InternLM44 分钟前
专为“超大模型而生”,新一代训练引擎 XTuner V1 开源!
人工智能·开源·xtuner·书生大模型·大模型训练框架·大模型预训练·大模型后训练
JT8583961 小时前
AI GEO 优化能否快速提升网站在搜索引擎的排名?
人工智能·搜索引擎