【Pytorch】model.eval()与model.train()

model.train():

作用是启用Batch Normalization 和 Dropout

如果模型中有BN层(Batch Normalization)和Dropout,需要在训练时添加model.train()。model.train()是保证BN层能够用到每一批数据的均值和方差。对于Dropout,model.train()是随机取一部分网络连接来训练更新参数。

model.eval():

如果模型中有BN层(Batch Normalization)和Dropout,在测试时添加model.eval()。保证BN层能够用全部训练数据的均值和方差,即测试过程中要保证BN层的均值和方差不变。对于Dropout,model.eval()是利用到了所有网络连接,即不进行随机舍弃神经元。

训练完train样本后,生成的模型model要用来测试样本。在测试集上进行测试之前,需要加上model.eval(),否则的话,有输入数据,即使不训练,它也会改变权值。这是model中含有BN层和Dropout所带来的的性质。

相关推荐
数据与人工智能律师几秒前
数据淘金时代:公开爬取如何避开法律雷区?
网络·人工智能·算法·云计算·区块链
红衣信6 分钟前
探索智能前端语音技术:从交互体验到敏感信息保护
前端·人工智能·前端框架
亚马逊云开发者18 分钟前
认识 SwiftChat:一款跨平台、高性能的 AI 助手应用程序
人工智能
只有左边一个小酒窝41 分钟前
(十三)计算机视觉中的深度学习:特征表示、模型架构与视觉认知原理
人工智能·深度学习·计算机视觉
小深ai硬件分享1 小时前
ChatGPT革命升级!o3-pro模型重磅发布:开启AI推理新纪元
运维·服务器·人工智能·深度学习
东临碣石822 小时前
【AI论文】利用自注意力机制实现大型语言模型(LLMs)中依赖于输入的软提示
人工智能·深度学习·语言模型
军军君012 小时前
基于Springboot+UniApp+Ai实现模拟面试小工具一:系统需求分析及设计
前端·vue.js·人工智能·spring boot·后端·uni-app·node.js
科技小E6 小时前
睡岗检测算法AI智能分析网关V4全场景智能守护,筑牢安全效率防线
网络·人工智能·安全
视频砖家7 小时前
数字化动态ID随机水印和ID跑马灯实现教育视频防录屏
人工智能·视频加密·用户id跑马灯·视频防下载·数字化动态id随机水印·保利威加密