xavier 在tensorflow pytorch中的应用,正太分布和均匀分布的计算公式不一样Xavier初始化,也被称为Glorot初始化,是一种用于深度神经网络的权重初始化方法。这种方法是由Xavier Glorot和Yoshua Bengio在2010年的论文《Understanding the difficulty of training deep feedforward neural networks》中提出的。Xavier初始化的主要目的是在网络的层之间保持激活值和梯度的方差,从而避免在深层网络训练中出现的梯度消失或梯度爆炸问题。