PyTorch踩坑记录1

1 model.eval()无法关闭dropout

因为model.eval()控制self.training参数,只有用nn.Dropout(0.5)声明才能在调用model.eval()后关闭,用F.dropout(x, p=0.5)是没办法自动关闭的,需要手动把self.training的参数传入到F.dropout()里才行。

网上查到是因为model.eval()会影响继承nn.module类的self.方法的训练和测试,但是F.dropout更像是一个函数没继承nn,module。

另外,回归模型在后面几层应该避免使用dropout,最多在浅层使用。

2 BCEloss归一化

在tf2中BCEloss没有归一化,但是在torch中的损失函数是归一化了的。

相关推荐
华农DrLai几秒前
什么是自动Prompt优化?为什么需要算法来寻找最佳提示词?
人工智能·算法·llm·nlp·prompt·llama
黎阳之光1 分钟前
十五五智赋新程 黎阳之光以AI硬核技术筑造产业数智底座
大数据·人工智能·算法·安全·数字孪生
云烟成雨TD1 分钟前
Spring AI Alibaba 1.x 系列【2】架构、特性与生产级演示案例
java·人工智能·spring
罗罗攀2 分钟前
PyTorch学习笔记|张量的线性代数运算
人工智能·pytorch·笔记·学习·线性代数
骇客野人3 分钟前
本地大模型与知识库的融合实施方案
人工智能
1941s4 分钟前
Google Agent Development Kit (ADK) 指南 第三章:核心概念与架构
人工智能·python·langchain·agent·adk
码农小白AI4 分钟前
AI审核驱动下的IACheck:港口沉积物检测报告如何实现质量稳步提升
人工智能
2501_948114244 分钟前
OpenClaw 时代的多模型接入实战:当开源智能体遇上聚合网关,一个人如何跑通全自动生产流水线
人工智能·gpt·开源
中电金信4 分钟前
中电金信助力腾讯安全多模态智能鉴伪系统上线
人工智能
sali-tec5 分钟前
C# 基于OpenCv的视觉工作流-章40-特征找图
图像处理·人工智能·opencv·算法·计算机视觉