CNN神经网络调参技巧

一、基本网络结构

1.若干块,每块:卷积+BN+激活+池化

2.若干块,每块:卷积+激活+Dropout

3.若干块,每块:fc+激活+Dropout

二、技巧

  1. 损失曲线
  • 常见曲线是先快速下降后趋于平缓,如果线性下降,说明学习率可能过低
  • 曲线震荡剧烈不平滑,可能是由于batchsize过小导致
  • 训练损失正常下降,验证损失先下降后上升,说明过拟合,可以调整dropout等解决
  • 损失最低点不代表模型性能最佳点

2.调参

  • 优先使用大的网络结构训练出过拟合效果
  • 第一层卷积核通道数应当较大,因为浅层特征较为重要
  • 主要还是根据损失函数进行调整
  • batchsize大容易过拟合,先用大batchsize,再用dropout解决过拟合

3.其他

  • 使用same卷积,更方便,不用每次计算卷积后的输出尺寸
相关推荐
智算菩萨几秒前
【计算机视觉与深度学习实战】05计算机视觉与深度学习在蚊子检测中的应用综述与假设
人工智能·深度学习·计算机视觉
hllqkbb1 分钟前
人体姿态估计-动手学计算机视觉14
人工智能·opencv·计算机视觉·分类
XiongLiding8 分钟前
我的第一个MCP,以及开发过程中的经验感悟
人工智能
三花AI23 分钟前
阿里 20B 参数 Qwen-Image-Edit 全能图像编辑模型
人工智能
EthanLifeGreat35 分钟前
ParallelWaveGAN-KaldiFree:纯Pytorch的PWG
人工智能·pytorch·深度学习·音频·语音识别
盏灯42 分钟前
据说,80%的人都搞不懂MCP底层?
人工智能·aigc·mcp
机器之心43 分钟前
机器人也会「摸鱼」了?宇树G1赛后葛优瘫刷美女视频,网友:比人还懂享受生活
人工智能·openai
胡耀超43 分钟前
从哲学(业务)视角看待数据挖掘:从认知到实践的螺旋上升
人工智能·python·数据挖掘·大模型·特征工程·crisp-dm螺旋认知·批判性思维
新智元1 小时前
Meta没做的,英伟达做了!全新架构吞吐量狂飙6倍,20万亿Token训练
人工智能·openai
新智元1 小时前
Hinton 预言成真!AI 接管美国一半白领,牛津哈佛扎堆转行做技工
人工智能·openai