PyTorch踩坑记录1

1 model.eval()无法关闭dropout

因为model.eval()控制self.training参数,只有用nn.Dropout(0.5)声明才能在调用model.eval()后关闭,用F.dropout(x, p=0.5)是没办法自动关闭的,需要手动把self.training的参数传入到F.dropout()里才行。

网上查到是因为model.eval()会影响继承nn.module类的self.方法的训练和测试,但是F.dropout更像是一个函数没继承nn,module。

另外,回归模型在后面几层应该避免使用dropout,最多在浅层使用。

2 BCEloss归一化

在tf2中BCEloss没有归一化,但是在torch中的损失函数是归一化了的。

相关推荐
zxfeng~12 分钟前
深度学习之“缺失数据处理”
人工智能·python·深度学习
deephub16 分钟前
PyTorch生态系统中的连续深度学习:使用Torchdyn实现连续时间神经网络
pytorch·深度学习·神经网络
Ronin-Lotus17 分钟前
深度学习篇---深度学习框架
人工智能·pytorch·python·深度学习·tensorflow·paddlepaddle
山海青风30 分钟前
OpenAI 实战进阶教程 - 第六节: OpenAI 与爬虫集成实现任务自动化
运维·人工智能·爬虫·python·自动化·nlp·beautifulsoup
说私域32 分钟前
开源2+1链动模式AI智能名片S2B2C商城小程序:突破流量与创意困境的新路径
人工智能·小程序·开源·流量运营
Rorsion1 小时前
PyTorch快速入门
人工智能·pytorch·python
努力努力不秃头!1 小时前
【论文公式】MathType打大写手写字母
人工智能·pytorch·python·深度学习·神经网络·jupyter·github
熙曦Sakura2 小时前
【深度学习】softmax回归的从零开始实现
人工智能·深度学习·回归
Damon小智3 小时前
使用Pygame制作“Flappy Bird”游戏
python·游戏·游戏程序·pygame