CNN神经网络调参技巧

一、基本网络结构

1.若干块，每块：卷积+BN+激活+池化

2.若干块，每块：卷积+激活+Dropout

3.若干块，每块：fc+激活+Dropout

二、技巧

1. 损失曲线

• 常见曲线是先快速下降后趋于平缓，如果线性下降，说明学习率可能过低
• 曲线震荡剧烈不平滑，可能是由于batchsize过小导致
• 训练损失正常下降，验证损失先下降后上升，说明过拟合，可以调整dropout等解决
• 损失最低点不代表模型性能最佳点

2.调参

• 优先使用大的网络结构训练出过拟合效果
• 第一层卷积核通道数应当较大，因为浅层特征较为重要
• 主要还是根据损失函数进行调整
• batchsize大容易过拟合，先用大batchsize，再用dropout解决过拟合

3.其他

• 使用same卷积，更方便，不用每次计算卷积后的输出尺寸