CNN神经网络调参技巧

一、基本网络结构

1.若干块,每块:卷积+BN+激活+池化

2.若干块,每块:卷积+激活+Dropout

3.若干块,每块:fc+激活+Dropout

二、技巧

  1. 损失曲线
  • 常见曲线是先快速下降后趋于平缓,如果线性下降,说明学习率可能过低
  • 曲线震荡剧烈不平滑,可能是由于batchsize过小导致
  • 训练损失正常下降,验证损失先下降后上升,说明过拟合,可以调整dropout等解决
  • 损失最低点不代表模型性能最佳点

2.调参

  • 优先使用大的网络结构训练出过拟合效果
  • 第一层卷积核通道数应当较大,因为浅层特征较为重要
  • 主要还是根据损失函数进行调整
  • batchsize大容易过拟合,先用大batchsize,再用dropout解决过拟合

3.其他

  • 使用same卷积,更方便,不用每次计算卷积后的输出尺寸
相关推荐
笑衬人心。11 分钟前
初学Spring AI 笔记
人工智能·笔记·spring
luofeiju21 分钟前
RGB下的色彩变换:用线性代数解构色彩世界
图像处理·人工智能·opencv·线性代数
测试者家园23 分钟前
基于DeepSeek和crewAI构建测试用例脚本生成器
人工智能·python·测试用例·智能体·智能化测试·crewai
张较瘦_27 分钟前
[论文阅读] 人工智能 + 软件工程 | Call Me Maybe:用图神经网络增强JavaScript调用图构建
论文阅读·人工智能·软件工程
大模型真好玩28 分钟前
准确率飙升!Graph RAG如何利用知识图谱提升RAG答案质量(四)——微软GraphRAG代码实战
人工智能·python·mcp
Baihai_IDP42 分钟前
vec2text 技术已开源!一定条件下,文本嵌入向量可“近乎完美地”还原
人工智能·面试·llm
江太翁1 小时前
Pytorch torch
人工智能·pytorch·python
拓端研究室1 小时前
专题:2025即时零售与各类人群消费行为洞察报告|附400+份报告PDF、原数据表汇总下载
大数据·人工智能
网安INF1 小时前
深度学习中的逻辑回归:从原理到Python实现
人工智能·python·深度学习·算法·逻辑回归
Despacito0o1 小时前
ESP32-s3摄像头驱动开发实战:从零搭建实时图像显示系统
人工智能·驱动开发·嵌入式硬件·音视频·嵌入式实时数据库