CNN神经网络调参技巧

一、基本网络结构

1.若干块,每块:卷积+BN+激活+池化

2.若干块,每块:卷积+激活+Dropout

3.若干块,每块:fc+激活+Dropout

二、技巧

  1. 损失曲线
  • 常见曲线是先快速下降后趋于平缓,如果线性下降,说明学习率可能过低
  • 曲线震荡剧烈不平滑,可能是由于batchsize过小导致
  • 训练损失正常下降,验证损失先下降后上升,说明过拟合,可以调整dropout等解决
  • 损失最低点不代表模型性能最佳点

2.调参

  • 优先使用大的网络结构训练出过拟合效果
  • 第一层卷积核通道数应当较大,因为浅层特征较为重要
  • 主要还是根据损失函数进行调整
  • batchsize大容易过拟合,先用大batchsize,再用dropout解决过拟合

3.其他

  • 使用same卷积,更方便,不用每次计算卷积后的输出尺寸
相关推荐
字节跳动开源4 分钟前
小红书/抖音图文排版利器——一个杂志风skill
人工智能·开源·设计
Bacon6 分钟前
我把 Codex 塞进了 Touch Bar:一个 30pt 高的额度与对话面板
人工智能
衡石科技16 分钟前
企业级 BI 的安全治理:衡石如何贯通认证、数据权限与审计
大数据·人工智能·安全·商业智能
网易云信1 小时前
折叠屏适配,iPhone Duo 真机已交付:网易云信 IMUIKit Swift 的实践
人工智能
Be for thing2 小时前
Pytorch【12】transforms进阶|图像数据增强实战,提升模型泛化能力
人工智能·pytorch·机器学习
十有八七2 小时前
手搓 Agent(一):先有大脑——大模型只会做一件事
前端·人工智能·后端
锋行天下2 小时前
「踩坑实录」给 LangGraph Agent 接两个 FastMCP,我被 langchain 偷偷改了工具名
前端·人工智能·后端
阿里云大数据AI技术2 小时前
穹彻智能 × MaxCompute:具身智能 UMI 数据产线的全模态计算实践
人工智能
联犀2 小时前
ai时代复杂项目的golang项目如何更好的与ai共舞:monorepo+gozero
开发语言·人工智能·golang
飞Link2 小时前
灵巧手是什么?从机械结构、驱动方式到控制原理,认识机器人的精细操作能力
人工智能·python·机器人