PyTorch踩坑记录1

1 model.eval()无法关闭dropout

因为model.eval()控制self.training参数,只有用nn.Dropout(0.5)声明才能在调用model.eval()后关闭,用F.dropout(x, p=0.5)是没办法自动关闭的,需要手动把self.training的参数传入到F.dropout()里才行。

网上查到是因为model.eval()会影响继承nn.module类的self.方法的训练和测试,但是F.dropout更像是一个函数没继承nn,module。

另外,回归模型在后面几层应该避免使用dropout,最多在浅层使用。

2 BCEloss归一化

在tf2中BCEloss没有归一化,但是在torch中的损失函数是归一化了的。

相关推荐
二川bro15 分钟前
2026主流大模型横向对比:Kimi/Claude/GPT选型+网关管理实战
人工智能
2501_9423895517 分钟前
Nifty IT指数的K线犹如断线的风筝
人工智能·postgresql·时序数据库·storm·tdengine
u01030552720 分钟前
泛型类与类型安全详解
人工智能·1024程序员节
tiger从容淡定是人生23 分钟前
生态入口之战:GPT、Gemini、Copilot与DeepSeek的战略分野
图像处理·人工智能·chatgpt·copilot·软件构建
半兽先生27 分钟前
大模型技术开发与应用——4.大模型提示词工程实战
人工智能·算法
IsSh9nj6q29 分钟前
Python全栈应用搭建神器magic-dash .新版本介绍
开发语言·python·dash
太子釢33 分钟前
手写一个 RAG:从零搭建可溯源的检索增强问答系统
人工智能
不吃辣49040 分钟前
vibe coding | 如何做一个 AI 音乐生成工具?
java·人工智能·后端·ai·ai编程
文人sec43 分钟前
从接口压测到全链路质量保障:AI智能客服系统的软件测试实践
人工智能
声讯电子44 分钟前
实测A-59F音频模组:降噪稳、不啸叫、通话清晰
人工智能·语音识别·ai降噪·usb接口·回音消除