PyTorch踩坑记录1

1 model.eval()无法关闭dropout

因为model.eval()控制self.training参数,只有用nn.Dropout(0.5)声明才能在调用model.eval()后关闭,用F.dropout(x, p=0.5)是没办法自动关闭的,需要手动把self.training的参数传入到F.dropout()里才行。

网上查到是因为model.eval()会影响继承nn.module类的self.方法的训练和测试,但是F.dropout更像是一个函数没继承nn,module。

另外,回归模型在后面几层应该避免使用dropout,最多在浅层使用。

2 BCEloss归一化

在tf2中BCEloss没有归一化,但是在torch中的损失函数是归一化了的。

相关推荐
黎阳之光1 分钟前
黎阳之光:以视频孪生重构智慧防火,打造“天空地人智”一体化森林防火新范式
大数据·运维·人工智能·物联网·安全
why技术16 分钟前
AI Coding开始进入第四个时代,我还没上车呢!
前端·人工智能·后端
java1234_小锋18 分钟前
Spring AI 2.0 开发Java Agent智能体 - MCP(模型上下文协议)
java·人工智能·spring·spring ai
手写码匠20 分钟前
深入解析大模型架构之争:全能通用模型 vs 领域专精模型
人工智能·深度学习·算法·aigc
ZhengEnCi22 分钟前
09aa-偏置是什么?
人工智能
Daydream.V44 分钟前
Python Flask超全入门实战教程|从零基础到项目部署
大数据·python·flask
桦说编程1 小时前
我让 AI 加了一个开关,结果代码走了原本不该走的分支
人工智能·代码规范
fly spider1 小时前
AI 到底是怎么访问网页的?从爬虫、Browser Agent 到 Computer Use
人工智能·爬虫
databook1 小时前
Manim物理模拟:别自己写欧拉了!
python·数学·动效