关于什么是机器学习中的超参数和普通参数，我之前写过一篇文章给大家介绍过。简单讲超参数是在模型训练开始前由用户人为指定的，而非通过训练过程自动学到的参数。
【机器学习300问】22、什么是超参数优化？常见超参数优化方法有哪些？
http://t.csdnimg.cn/cCLeR
神经网络中有哪些常见超参数？
（1）学习率（Learning Rate）
- 学习率的作用是控制参数跟新的步长。
- 较高的学习率可以使模型快速收敛，但也可能导致训练过程不稳定或错过最优解；
- 较低的学习率则可能导致训练速度慢，需要更多次迭代才能接近最优解。
- 因此适当的学习率对模型训练至关重要。
（2）迭代次数（Epochs）
- 迭代次数又叫训练周期，是指完整的把所有训练集数据输入模型训练的轮次。
- 更多的迭代次数允许模型对数据进行更深入的学习；
- 但过多轮次的迭代也可能增加过拟合风险；
- 需要根据模型的复杂度和数据集的大小来人为设定合适的迭代次数。
（3）网络层数（Number of Layers）
- 包括输入层、隐藏层和输出层的数量。由于输入层和输出层一般是固定的，所以网络层数也可以指隐藏层层数。
- 增加层数通常可以捕获更复杂的模式，但也可能导致训练难度加大和模型过拟合
- 减少层数对于复杂的任务任务而言可能会导致欠拟合，但如果要学习的模式本身就很简单，那么减少层数反而会有好的效果。
（4）每层神经元的数量（Nodes）
每层神经元的数据量可以决定每一层网络的计算能力和模型复杂度。增加神经元数量可以提神模型的表达能力，但也可能增加过拟合的风险。
（5）激活函数（Activation Function）
用于引入非线性，常用激活函数有Sigmoid、ReLU、Leaky ReLU、Tanh等。激活函数的选择会影响模型的训练效率、梯度传播以及模型的表达能力。
（6）批量大小（Batch Size）
- 批量大小是指每次梯度更新时使用的样本数量。
- 较小的批量有助于模型更快地遍历整个训练集，捕捉数据的更多细节，但可能导致训练过程更不稳定。
- 较大的批量可以提供更稳定的梯度估计，但可能需要更多的内存资源，并可能导致模型对某些小规模模式的忽略。
（7）正则化参数（Regularization Parameters）
在损失函数中加入正则化系数可以防止过拟合。这些参数控制着正则化项对模型复杂度的惩罚力度，直接影响模型在训练集和测试集上的表现。
（8）Dropout比例（Dropout Rate）
在训练过程中随机关闭一部分神经元的比例，dropout也是一种正则化手段，用来防止过拟合。设置合理Dropout率可以帮助模型提升泛化能力。