批次正规化 - 批次正规化技术,学习,经验文章

性感博主在线瞎搞

21 小时前

【神经网络】超参调优策略（二）：Batch Normalization批量归一化在之前写过的一篇文章（【神经网络】超参调优策略（一）：权重初始值调优——防止梯度消失和表现力受限）中，我们通过调整各层权重初始值使得各层的激活值分布会有适当的广度，从而可以顺利地进行学习，但当神经网络的层数、神经元数达到一定数量级时，如何确定最佳初始值成为一个难题，那么有没有那种可以强制性地调整激活值的分布，使其具备一定的广度呢？