网络容量
- 网络中神经单元数越多,层数越多,神经网路的拟合能力越强。但是训练速度,难度越大,越容易产生过拟合。
如何选择超参数
- 所谓超参数,也就是搭建神经网路中,需要我们自己去选择(不是通过梯度下降算法去优化)的哪些参数。比如,中间层的神经元个数,学习速率。
如何提高网络的拟合能力
增大网络容量
- 增加层(深度)
增加层会大大提高网络的拟合能力,这也是为什么现在深度学习的层越来越深的原因 - 增加隐藏神经元个数(宽度)
单纯的增加神经元个数对网络性能的提高并不明显 - 注意:单层的神经元个数,不能太小,太小的话,会造成信息瓶颈,使得模型欠拟合