PyTorch踩坑记录1

1 model.eval()无法关闭dropout

因为model.eval()控制self.training参数,只有用nn.Dropout(0.5)声明才能在调用model.eval()后关闭,用F.dropout(x, p=0.5)是没办法自动关闭的,需要手动把self.training的参数传入到F.dropout()里才行。

网上查到是因为model.eval()会影响继承nn.module类的self.方法的训练和测试,但是F.dropout更像是一个函数没继承nn,module。

另外,回归模型在后面几层应该避免使用dropout,最多在浅层使用。

2 BCEloss归一化

在tf2中BCEloss没有归一化,但是在torch中的损失函数是归一化了的。

相关推荐
RobinDevNotes6 小时前
大模型3D并行训练怎么配才不浪费算力
网络·人工智能·深度学习·深度优先
Awei爱emo6 小时前
一个有嘴没手的学霸,和一个会干活的项目经理——我终于搞懂 Agent 是啥了
人工智能
海带紫菜菠萝汤6 小时前
欧洲也开源了「78B 只激活 3.46B」:主权叙事变了,技术选型没变
人工智能·深度学习·ai·开源·大模型
一缕82年的清风6 小时前
实战指南:如何把现有 REST API 工业级封装为 MCP(Model Context Protocol)服务
python·mcp
狼与自由6 小时前
python打包
开发语言·python
进击的雷神6 小时前
OpenClaw 太重、启动太慢?我试了试这个 Rust 重写的轻量版 AI 助手网关
开发语言·人工智能·rust·zeroclaw
微软技术分享6 小时前
BinSentry 1.0 二进制哨兵测试版发布
人工智能
Είναι η κοπέλα6 小时前
Python 虚拟环境:venv、conda 与 Python 版本选择全解
开发语言·python·conda
蒲公英eric6 小时前
Python工具链与LaTeX排版:把兵器配齐
人工智能·python·算法·数学建模·数学建模工具
海盗12346 小时前
AI 新闻日报 2026-10-03:编排写进代码、领域知识打包成技能、具身智能回到班次与价格
人工智能·机器人·人工智能aigc