一、基本网络结构
1.若干块，每块：卷积+BN+激活+池化
2.若干块，每块：卷积+激活+Dropout
3.若干块，每块：fc+激活+Dropout
二、技巧
- 损失曲线
- 常见曲线是先快速下降后趋于平缓，如果线性下降，说明学习率可能过低
- 曲线震荡剧烈不平滑，可能是由于batchsize过小导致
- 训练损失正常下降，验证损失先下降后上升，说明过拟合，可以调整dropout等解决
- 损失最低点不代表模型性能最佳点
2.调参
- 优先使用大的网络结构训练出过拟合效果
- 第一层卷积核通道数应当较大，因为浅层特征较为重要
- 主要还是根据损失函数进行调整
- batchsize大容易过拟合，先用大batchsize，再用dropout解决过拟合
3.其他
- 使用same卷积，更方便，不用每次计算卷积后的输出尺寸