PyTorch踩坑记录1

1 model.eval()无法关闭dropout

因为model.eval()控制self.training参数,只有用nn.Dropout(0.5)声明才能在调用model.eval()后关闭,用F.dropout(x, p=0.5)是没办法自动关闭的,需要手动把self.training的参数传入到F.dropout()里才行。

网上查到是因为model.eval()会影响继承nn.module类的self.方法的训练和测试,但是F.dropout更像是一个函数没继承nn,module。

另外,回归模型在后面几层应该避免使用dropout,最多在浅层使用。

2 BCEloss归一化

在tf2中BCEloss没有归一化,但是在torch中的损失函数是归一化了的。

相关推荐
wsad05323 分钟前
在Windows上创建Python虚拟环境并在PyCharm中使用
windows·python·pycharm
geovindu4 分钟前
python: Prototype Pattern
python·设计模式·原型模式
深圳市九鼎创展科技5 分钟前
国产高性能 AIoT 核心板!九鼎创展 Z3576 核心板全面解析(基于瑞芯微 RK3576)
大数据·linux·人工智能·嵌入式硬件·ubuntu
云边云科技_云网融合5 分钟前
SD-WAN 专线:为亚马逊云、微软云访问提速的核心逻辑
网络·人工智能·安全·microsoft·架构
GEO行业研究员6 分钟前
基于 Milvus 标量过滤与爱搜光年 Schema 的医疗召回优化
人工智能·ai搜索优化·geo优化·医疗geo优化·ai搜索排名·爱搜光年geo
Teacher.chenchong6 分钟前
AI支持下的临床医学日常工作、论文撰写、数据分析与可视化、机器学习建模中的实践应用
人工智能
Fxrain7 分钟前
[Paper Reading]Diff-Dehazer
人工智能·深度学习·计算机视觉
Data-Miner7 分钟前
47页可编辑PPT | MES整合IIOT技术提升企业数字化智造
人工智能
Shining05968 分钟前
CPU 并行编程系列《CPU 性能优化导论》
人工智能·学习·其他·性能优化·infinitensor
橙子199110168 分钟前
Java/Kotlin 与并发
java·python·kotlin