PyTorch踩坑记录1

1 model.eval()无法关闭dropout

因为model.eval()控制self.training参数,只有用nn.Dropout(0.5)声明才能在调用model.eval()后关闭,用F.dropout(x, p=0.5)是没办法自动关闭的,需要手动把self.training的参数传入到F.dropout()里才行。

网上查到是因为model.eval()会影响继承nn.module类的self.方法的训练和测试,但是F.dropout更像是一个函数没继承nn,module。

另外,回归模型在后面几层应该避免使用dropout,最多在浅层使用。

2 BCEloss归一化

在tf2中BCEloss没有归一化,但是在torch中的损失函数是归一化了的。

相关推荐
ACP广源盛139246256735 分钟前
GSV9001E 国产 4K 视频处理器,AI 多模态可视化大屏多路画面合成方案解析
人工智能·硬件架构·国产芯片·ai服务器
长谷深风1119 分钟前
评测AI Agent:三种裁判各司其职
java·大数据·开发语言·人工智能·ai agent
火山引擎开发者社区14 分钟前
火山方舟Agent Plan上线最新生图生视频模型
人工智能
明志数科35 分钟前
具身智能产业基础设施换挡:从算力本体到数据层的技术逻辑
人工智能·机器学习
gongfeng300036 分钟前
福州企业级AI自动化获客解决方案品牌梳理与适用场景分析
运维·人工智能·自动化·g-claw ai员工
陈碧甫38 分钟前
因果Agent的Memory在对话中的表现
人工智能
高洁0144 分钟前
大模型的幻觉怎么治
人工智能·深度学习·django·transformer·tornado
m0_734571761 小时前
深入理解人工智能 主流的训练算法
人工智能
kyriewen1 小时前
我删掉了 29 个 AI Skill 里的 23 个:留下的 6 个都有同一个特点
人工智能·程序员·ai编程
weixin_446260851 小时前
编译式智能体:前沿通用编码智能体从零交互构建游戏玩家——从Flappy Bird到星际争霸2与文明
人工智能