PyTorch踩坑记录1

1 model.eval()无法关闭dropout

因为model.eval()控制self.training参数,只有用nn.Dropout(0.5)声明才能在调用model.eval()后关闭,用F.dropout(x, p=0.5)是没办法自动关闭的,需要手动把self.training的参数传入到F.dropout()里才行。

网上查到是因为model.eval()会影响继承nn.module类的self.方法的训练和测试,但是F.dropout更像是一个函数没继承nn,module。

另外,回归模型在后面几层应该避免使用dropout,最多在浅层使用。

2 BCEloss归一化

在tf2中BCEloss没有归一化,但是在torch中的损失函数是归一化了的。

相关推荐
梅雅达编程笔记6 分钟前
编程启蒙|Scratch 转 Python 系列第9天:字典/哈希表积木双向对照(AI大模型参数配置表实战)
开发语言·人工智能·python·numpy·pandas
m0_7381207211 分钟前
AI安全实战系列(六):Lab06 Model Extraction——模型提取攻击
人工智能·安全·网络安全·语言模型·系统安全
廋到被风吹走19 分钟前
【AI】当前沿模型撞上出口管制这堵墙
人工智能
hkNaruto19 分钟前
【大数据】Demo 城市供水管网智能监控系统——项目开发实施计划
大数据·人工智能
AI应用苏大大19 分钟前
AI项目落地架构缺陷:试点与推广体系脱节导致阶段卡死、无法规模化
人工智能
小顿的企业观察23 分钟前
从人形机器人到AI销售智能体,AI正在重塑中企出海的底层逻辑
大数据·运维·人工智能·机器人·产品运营·制造
Lei活在当下27 分钟前
从 Token 到 RAG:我这一周搭起的大模型基础认知地图
人工智能·langchain·openai
guslegend27 分钟前
第1章:打语音模型的基础认知
人工智能·大模型
月光船幽幽1 小时前
Φ-MEU全息演算新范式
人工智能·科技·量子计算·拓扑学