PyTorch踩坑记录1

1 model.eval()无法关闭dropout

因为model.eval()控制self.training参数,只有用nn.Dropout(0.5)声明才能在调用model.eval()后关闭,用F.dropout(x, p=0.5)是没办法自动关闭的,需要手动把self.training的参数传入到F.dropout()里才行。

网上查到是因为model.eval()会影响继承nn.module类的self.方法的训练和测试,但是F.dropout更像是一个函数没继承nn,module。

另外,回归模型在后面几层应该避免使用dropout,最多在浅层使用。

2 BCEloss归一化

在tf2中BCEloss没有归一化,但是在torch中的损失函数是归一化了的。

相关推荐
小柯南敲键盘10 分钟前
批量图片翻译与视频字幕一站式解决高效跨境电商沟通难题
大数据·人工智能·python·音视频
FreeBuf_28 分钟前
仅用六分钟,黑客借助Gemini CLI自主构建并迁移C&C僵尸网络
网络·人工智能
xd1855785551 小时前
表情包配文-基于鸿蒙的AI表情包配文生成应用开发实践
人工智能·华为·harmonyos·鸿蒙
石山代码1 小时前
KMP全栈开发:从Android到AI Agent的技术演进与实践
android·人工智能
对讲机数码科普1 小时前
聚焦全场景适配 打造寒地通信产品矩阵
人工智能
空中湖1 小时前
Spring AI RAG 完整实战:从零搭建企业知识库问答系统
java·人工智能·spring
To_OC2 小时前
再也不用手动整理会议纪要!我给 Claude 封装了一套永久自动化 Skill
人工智能·agent·claude
wish3662 小时前
使用 Chainlit 调用 TextGen API + 本地 LLM 实现 RAG Chatbot 应用
人工智能·语言模型·自然语言处理·local llm
领麦微红外2 小时前
FW-D1 vs 迈来芯MLX90614:参数全面对比
人工智能·产品经理
smj2302_796826522 小时前
解决leetcode第3989题网格中保持一致的最大列数
python·算法·leetcode