learning rate - learning rate技术,学习,经验文章

西西弗Sisyphus

24 分钟前

模型训练不同批次大小与学习率下的训练损失对比（1）batchsize 和 learning rate存在什么关系，可以怎么做flyfishηnew=ηold×BnewBold\eta_{new} = \eta_{old} \times \frac{B_{new}}{B_{old}}ηnew=ηold×BoldBnew 批次扩大多少倍，学习率就同步扩大多少倍。