PyTorch踩坑记录1

1 model.eval()无法关闭dropout

因为model.eval()控制self.training参数,只有用nn.Dropout(0.5)声明才能在调用model.eval()后关闭,用F.dropout(x, p=0.5)是没办法自动关闭的,需要手动把self.training的参数传入到F.dropout()里才行。

网上查到是因为model.eval()会影响继承nn.module类的self.方法的训练和测试,但是F.dropout更像是一个函数没继承nn,module。

另外,回归模型在后面几层应该避免使用dropout,最多在浅层使用。

2 BCEloss归一化

在tf2中BCEloss没有归一化,但是在torch中的损失函数是归一化了的。

相关推荐
罗西的思考5 分钟前
探秘Transformer系列之(21)--- MoE
人工智能·深度学习·机器学习
赵大仁24 分钟前
深度神经网络全解析:原理、结构与方法对比
人工智能·神经网络·dnn
啥都鼓捣的小yao25 分钟前
Python使用SVC算法解决乳腺癌数据集分类问题——寻找最佳核函数
python·算法·分类
yuluo_YX29 分钟前
使用 Spring AI Aliabab Module RAG 构建 Web Search 应用
前端·人工智能·spring
Blossom.11835 分钟前
量子计算:未来计算技术的革命性突破
人工智能·科技·深度学习·神经网络·机器学习·计算机视觉·量子计算
繁华落尽,寻一世真情35 分钟前
【记录自己第一个github 100星项目】采用flask框架构建一个前端页面,进行OpenManus的调用,对OpenManus生成的文件进行预览。
python
一晌小贪欢40 分钟前
Pygame第10课——俄罗斯方块
开发语言·python·pygame·python游戏·俄罗斯方块
安然无虞41 分钟前
31天Python入门——第14天:异常处理
后端·爬虫·python·职场和发展·pyqt
GIS数据转换器1 小时前
在机器人和无人机时代,测绘人的出路在哪里?
大数据·人工智能·信息可视化·机器人·自动驾驶·汽车·无人机
joekl1 小时前
python练习题
开发语言·python