PyTorch踩坑记录1

1 model.eval()无法关闭dropout

因为model.eval()控制self.training参数,只有用nn.Dropout(0.5)声明才能在调用model.eval()后关闭,用F.dropout(x, p=0.5)是没办法自动关闭的,需要手动把self.training的参数传入到F.dropout()里才行。

网上查到是因为model.eval()会影响继承nn.module类的self.方法的训练和测试,但是F.dropout更像是一个函数没继承nn,module。

另外,回归模型在后面几层应该避免使用dropout,最多在浅层使用。

2 BCEloss归一化

在tf2中BCEloss没有归一化,但是在torch中的损失函数是归一化了的。

相关推荐
逐米时代11 小时前
成都制造企业采购合同风险审核,AI智能体该查哪些条款?
大数据·人工智能
Peter·Pan爱编程12 小时前
10. new_delete 不是 malloc_free 的包装
c++·人工智能·算法
IT_陈寒12 小时前
Vue的computed属性怎么突然不更新了?
前端·人工智能·后端
ZhengEnCi12 小时前
09a-斯坦福 CS336 作业一:BPE 分词器
python·神经网络
方向研究12 小时前
人类的核心能力
人工智能
测试员周周12 小时前
【Appium 系列】第18节-重试与容错 — 移动端测试的稳定性保障
人工智能·python·功能测试·ui·单元测试·appium·测试用例
还是鼠鼠12 小时前
AI掘金头条新闻系统 (Toutiao News)-用户注册-创建用户
后端·python·mysql·fastapi·web
灰灰勇闯IT12 小时前
DeepSeek-R1 在 CANN 上的推理部署
pytorch·python·深度学习
l1t12 小时前
Hy-MT2-1.8B总结的pgvector 0.8.2解决了并行HNSW索引构建漏洞
数据库·人工智能·postgresql
太华12 小时前
学习AI Agent编程-第二天-LangGraph ReAct模式实现
人工智能