PyTorch踩坑记录1

1 model.eval()无法关闭dropout

因为model.eval()控制self.training参数,只有用nn.Dropout(0.5)声明才能在调用model.eval()后关闭,用F.dropout(x, p=0.5)是没办法自动关闭的,需要手动把self.training的参数传入到F.dropout()里才行。

网上查到是因为model.eval()会影响继承nn.module类的self.方法的训练和测试,但是F.dropout更像是一个函数没继承nn,module。

另外,回归模型在后面几层应该避免使用dropout,最多在浅层使用。

2 BCEloss归一化

在tf2中BCEloss没有归一化,但是在torch中的损失函数是归一化了的。

相关推荐
lixzest2 小时前
Transformer、PyTorch与人工智能大模型的关系
人工智能
其美杰布-富贵-李2 小时前
PyTorch Lightning
人工智能·pytorch·python·training
开开心心_Every2 小时前
安卓做菜APP:家常菜谱详细步骤无广简洁
服务器·前端·python·学习·edge·django·powerpoint
SiYuanFeng2 小时前
pytorch常用张量构造词句表和nn.组件速查表
人工智能·pytorch·python
MistaCloud2 小时前
Pytorch深入浅出(十四)之完整的模型训练测试套路
人工智能·pytorch·python·深度学习
知乎的哥廷根数学学派2 小时前
基于物理信息嵌入与多维度约束的深度学习地基承载力智能预测与可解释性评估算法(以模拟信号为例,Pytorch)
人工智能·pytorch·python·深度学习·算法·机器学习
WLJT1231231232 小时前
电子元器件:智能时代的核心基石
大数据·人工智能·科技·安全·生活
RockHopper20252 小时前
约束的力量:从生物认知到人工智能的跨越
人工智能·具身智能·具身认知
未来之窗软件服务2 小时前
幽冥大陆(九十六)分词服务训练 —东方仙盟练气期
人工智能·仙盟创梦ide·东方仙盟
雪域迷影2 小时前
Python中连接Redis数据库并存储数据
redis·python