(五)网络优化与超参数选择--九五小庞

网络容量

  • 网络中神经单元数越多,层数越多,神经网路的拟合能力越强。但是训练速度,难度越大,越容易产生过拟合。

如何选择超参数

  • 所谓超参数,也就是搭建神经网路中,需要我们自己去选择(不是通过梯度下降算法去优化)的哪些参数。比如,中间层的神经元个数,学习速率。

如何提高网络的拟合能力

增大网络容量

  • 增加层(深度)
    增加层会大大提高网络的拟合能力,这也是为什么现在深度学习的层越来越深的原因
  • 增加隐藏神经元个数(宽度)
    单纯的增加神经元个数对网络性能的提高并不明显
  • 注意:单层的神经元个数,不能太小,太小的话,会造成信息瓶颈,使得模型欠拟合
相关推荐
安逸sgr9 分钟前
1、CycleGAN
pytorch·深度学习·神经网络·生成对抗网络
FL162386312920 分钟前
[数据集][目标检测]俯拍航拍森林火灾检测数据集VOC+YOLO格式6116张2类别
人工智能·深度学习·目标检测
华清远见成都中心20 分钟前
哪些人适合学习人工智能?
人工智能·学习
qq_5503379926 分钟前
研1日记14
人工智能·深度学习·机器学习
i嗑盐の小F33 分钟前
【IEEE&ACM Fellow、CCF组委】第三届人工智能与智能信息处理国际学术会议(AIIIP 2024)
人工智能·深度学习·算法·机器学习·自然语言处理·信号处理
nfgo1 小时前
Apollo自动驾驶项目(二:cyber框架分析)
人工智能·自动驾驶·unix
h177113472051 小时前
基于区块链的相亲交易系统源码解析
大数据·人工智能·安全·系统架构·交友
HPC_fac130520678161 小时前
RTX 4090 系列即将停产,RTX 5090 系列蓄势待发
服务器·人工智能·gpu算力
xuehaisj2 小时前
论文内容分类与检测系统源码分享
人工智能·分类·数据挖掘
大耳朵爱学习2 小时前
大模型预训练的降本增效之路——从信息密度出发
人工智能·深度学习·机器学习·自然语言处理·大模型·llm·大语言模型