一,等间隔调整学习率
步长相同,操作简单。
二,指定间隔调整学习率
自己指定,自由度高,但是可能不准
三,指数调整学习率
lr新 = lr旧 * 0.9 ^ epoch
占资源,剩下的全是优点,符合训练规律,前期快,后期慢