PyTorch踩坑记录1

1 model.eval()无法关闭dropout

因为model.eval()控制self.training参数,只有用nn.Dropout(0.5)声明才能在调用model.eval()后关闭,用F.dropout(x, p=0.5)是没办法自动关闭的,需要手动把self.training的参数传入到F.dropout()里才行。

网上查到是因为model.eval()会影响继承nn.module类的self.方法的训练和测试,但是F.dropout更像是一个函数没继承nn,module。

另外,回归模型在后面几层应该避免使用dropout,最多在浅层使用。

2 BCEloss归一化

在tf2中BCEloss没有归一化,但是在torch中的损失函数是归一化了的。

相关推荐
永霖光电_UVLED7 小时前
NUBURU启动Q1阶段,实现40套高功率蓝光激光系统的量产
大数据·人工智能
RFG20127 小时前
20、详解Dubbo框架:消费方如何动态获取服务提供方地址?【微服务架构入门】
java·人工智能·后端·微服务·云原生·架构·dubbo
紫微AI8 小时前
适用于代理Agents的语言
人工智能·agents·新语言
CCPC不拿奖不改名8 小时前
虚拟机基础:在VMware WorkStation上安装Linux为容器化部署打基础
linux·运维·服务器·人工智能·milvus·知识库搭建·容器化部署
这是个栗子8 小时前
AI辅助编程工具(六) - CodeGeeX
人工智能·ai·codegeex
vortesnail8 小时前
超详细的云服务部署 OpenClaw 并接入飞书全流程,别再趟坑了
人工智能·程序员·openai
紫微AI8 小时前
Anthropic Claude Code 工程博客精读:构建可靠长时运行AI代理的有效框架实践
人工智能
瞎某某Blinder8 小时前
DFT学习记录[4] 电子和空穴的有效质量计算全流程
python·学习
量子-Alex8 小时前
【大模型思维链】自洽性提升语言模型中的思维链推理能力
人工智能·语言模型·自然语言处理
月光有害8 小时前
Batch 与 Mini-Batch 梯度下降的权衡与选择
人工智能