PyTorch踩坑记录1

1 model.eval()无法关闭dropout

因为model.eval()控制self.training参数,只有用nn.Dropout(0.5)声明才能在调用model.eval()后关闭,用F.dropout(x, p=0.5)是没办法自动关闭的,需要手动把self.training的参数传入到F.dropout()里才行。

网上查到是因为model.eval()会影响继承nn.module类的self.方法的训练和测试,但是F.dropout更像是一个函数没继承nn,module。

另外,回归模型在后面几层应该避免使用dropout,最多在浅层使用。

2 BCEloss归一化

在tf2中BCEloss没有归一化,但是在torch中的损失函数是归一化了的。

相关推荐
悦数图数据库1 小时前
“复旦大学—杭州悦数先进金融图技术校企联合研究中心年度总结会”圆满举行
大数据·数据库·人工智能
星浩AI2 小时前
LCEL:打造可观测、可扩展、可部署的 LangChain 应用
人工智能·后端·python
agicall.com2 小时前
信创电话助手自动录音功能说明
人工智能·语音识别·自动录音·座机录音·固话录音
初次攀爬者2 小时前
RAG核心升级|多LLM模型动态切换方案
人工智能·后端·ai编程
这儿有一堆花2 小时前
Python 虚拟环境的配置与管理指南
开发语言·python
bst@微胖子2 小时前
HuggingFace项目实战之分类任务实战
pytorch·深度学习·分类
yunni82 小时前
知识库 × AI写作:打通公文写作的“最后一公里”
大数据·人工智能
Baihai_IDP2 小时前
Andrej Karpathy:2025 年 LLM 领域的六项范式转变
人工智能·面试·llm
踩着两条虫2 小时前
VTJ.PRO「AI + 低代码」应用开发平台的后端模块系统
前端·人工智能·低代码
Generalzy2 小时前
深度觉醒 — Deep Agents(三座大山 — Agent 的核心挑战)
python