(五)网络优化与超参数选择--九五小庞

网络容量

  • 网络中神经单元数越多,层数越多,神经网路的拟合能力越强。但是训练速度,难度越大,越容易产生过拟合。

如何选择超参数

  • 所谓超参数,也就是搭建神经网路中,需要我们自己去选择(不是通过梯度下降算法去优化)的哪些参数。比如,中间层的神经元个数,学习速率。

如何提高网络的拟合能力

增大网络容量

  • 增加层(深度)
    增加层会大大提高网络的拟合能力,这也是为什么现在深度学习的层越来越深的原因
  • 增加隐藏神经元个数(宽度)
    单纯的增加神经元个数对网络性能的提高并不明显
  • 注意:单层的神经元个数,不能太小,太小的话,会造成信息瓶颈,使得模型欠拟合
相关推荐
四口鲸鱼爱吃盐25 分钟前
BMVC2023 | 多样化高层特征以提升对抗迁移性
人工智能·深度学习·cnn·vit·对抗攻击·迁移攻击
Echo``1 小时前
3:OpenCV—视频播放
图像处理·人工智能·opencv·算法·机器学习·视觉检测·音视频
Douglassssssss1 小时前
【深度学习】使用块的网络(VGG)
网络·人工智能·深度学习
okok__TXF1 小时前
SpringBoot3+AI
java·人工智能·spring
SAP工博科技1 小时前
如何提升新加坡SAP实施成功率?解答中企出海的“税务合规密码” | 工博科技SAP金牌服务商
人工智能·科技·制造
闭月之泪舞1 小时前
OpenCv高阶(八)——摄像头调用、摄像头OCR
人工智能·opencv·ocr
終不似少年遊*1 小时前
【从基础到模型网络】深度学习-语义分割-ROI
人工智能·深度学习·卷积神经网络·语义分割·fcn·roi
Cchaofan1 小时前
lesson01-PyTorch初见(理论+代码实战)
人工智能·pytorch·python
小袁拒绝摆烂2 小时前
OpenCV-几何变化和图像形态学
人工智能·opencv·计算机视觉
摆烂仙君2 小时前
南京邮电大学金工实习答案
人工智能·深度学习·aigc