CNN神经网络调参技巧

一、基本网络结构

1.若干块,每块:卷积+BN+激活+池化

2.若干块,每块:卷积+激活+Dropout

3.若干块,每块:fc+激活+Dropout

二、技巧

  1. 损失曲线
  • 常见曲线是先快速下降后趋于平缓,如果线性下降,说明学习率可能过低
  • 曲线震荡剧烈不平滑,可能是由于batchsize过小导致
  • 训练损失正常下降,验证损失先下降后上升,说明过拟合,可以调整dropout等解决
  • 损失最低点不代表模型性能最佳点

2.调参

  • 优先使用大的网络结构训练出过拟合效果
  • 第一层卷积核通道数应当较大,因为浅层特征较为重要
  • 主要还是根据损失函数进行调整
  • batchsize大容易过拟合,先用大batchsize,再用dropout解决过拟合

3.其他

  • 使用same卷积,更方便,不用每次计算卷积后的输出尺寸
相关推荐
AI街潜水的八角41 分钟前
图像修复:深度学习实现老照片划痕修复+老照片上色
人工智能·深度学习
HuggingFace3 小时前
Hugging Face 开源 HopeJR 机器臂!今天晚上直播带你深入技术核心
人工智能
SUPER52664 小时前
AI应用服务
人工智能
义薄云天us4 小时前
028_分布式部署架构
人工智能·分布式·架构·claude code
HuggingFace5 小时前
HF Papers 直播| AI for Science 专场
人工智能
机器视觉与AI5 小时前
半导体制造流程深度解析:外观缺陷检测的AI化路径与实践
人工智能·视觉检测·制造
批量小王子7 小时前
2025-07-15通过边缘线检测图像里的主体有没有出血
人工智能·opencv·计算机视觉
机器学习之心7 小时前
三种深度学习模型(LSTM、CNN-LSTM、贝叶斯优化的CNN-LSTM/BO-CNN-LSTM)对北半球光伏数据进行时间序列预测
深度学习·cnn·lstm·cnn-lstm·贝叶斯优化的cnn-lstm
zyhomepage8 小时前
科技的成就(六十九)
开发语言·网络·人工智能·科技·内容运营
停走的风8 小时前
(李宏毅)deep learning(五)--learning rate
人工智能·深度学习·机器学习