PyTorch踩坑记录1

1 model.eval()无法关闭dropout

因为model.eval()控制self.training参数,只有用nn.Dropout(0.5)声明才能在调用model.eval()后关闭,用F.dropout(x, p=0.5)是没办法自动关闭的,需要手动把self.training的参数传入到F.dropout()里才行。

网上查到是因为model.eval()会影响继承nn.module类的self.方法的训练和测试,但是F.dropout更像是一个函数没继承nn,module。

另外,回归模型在后面几层应该避免使用dropout,最多在浅层使用。

2 BCEloss归一化

在tf2中BCEloss没有归一化,但是在torch中的损失函数是归一化了的。

相关推荐
人工智能AI技术3 分钟前
RAG退潮,「文件系统+grep」回归:智能体检索的返璞归真
人工智能
来自远方的老作者13 分钟前
第7章 运算符-7.1 算术运算符
开发语言·数据结构·python·算法·算术运算符
tq6J5Yg1416 分钟前
windows10本地部署openclaw
前端·python
tq108630 分钟前
AI转型的责任——个体、机构与政府的协同
人工智能
海兰32 分钟前
【实战】OpenClaw调用本地部署的Nacos注册的Library MCP 服务
人工智能·openclaw
pl4H522a634 分钟前
Python 高效实现 Excel 转 TXT 文本
java·python·excel
数据知道42 分钟前
claw-code 源码详细分析:Compaction 前置课——上下文压缩在接口层要预留哪些旋钮,避免后期全局返工?
python·ai·claude code
小邓睡不饱耶1 小时前
花店花品信息管理系统开发实战:Python实现简易门店管理系统
服务器·python·microsoft
青稞社区.1 小时前
Claude Code 源码深度解析:运行机制与 Memory 模块详解
大数据·人工智能·elasticsearch·搜索引擎·agi
weixin_446260851 小时前
提升开发效率的超能力:Superpowers 开源项目介绍
人工智能