大模型面试题:当Batch Size增大时,学习率该如何随之变化?

我整理了1000道算法面试题

获取

该问题大答案的理论分析请参考苏剑林的科学空间,地址位于 https://kexue.fm/archives/10542

说下结论:从方差的角度来分析,有两个角度来说明学习率应该和Batch size的关系,一个是呈现根号的关系,也即Batch size增大x倍,学习率增大根号x倍,另一个角度是呈现线性的关系,也即Batch size增大x倍,学习率增大x倍。从损失的角度来分析,学习率随着Batch Size的增加而单调递增但有上界。

  • 方差角度
  1. 作者明确了自2014年的《One weird trick for parallelizing convolutional neural networks》,该论文的推导原理是让SGD增量的方差保持不变。若干个推导明确了通过调整学习率η 让增量的噪声强度即协方差矩阵保持不变,得到了一个是呈现根号的关系,也即Batch size增大x倍,学习率增大根号x倍。

  2. 作者明确了在实践中,Batch size增大x倍且学习率增大根号x倍的表现最好,中间涉及了一些推导,主要是基于梯度的噪声是正态分布的假设开始。

  • 损失角度
  1. 作者说了经典工作是OpenAI的《An Empirical Model of Large-Batch Training》,它通过损失函数的二阶近似来分析SGD的最优学习率,得出"学习率随着Batch Size的增加而单调递增但有上界"的结论。整个推导过程值将学习率也作为待优化的参数写进到损失函数L里面去,然后通过二阶泰勒展开得到n_max,也就是学习率最大的表达式,,可以看到B越大的话,学习率也可以越大,但是最后会饱和。
  • 其它
  1. 实际在训练过程中,先通过海塞矩阵和梯度得到,然后通过小批量的数据得到,然后结合B得到。

  2. 表明数据量越小,那么应该缩小Batch Size,让训练步数更多,才能更有机会达到更优的解。

  • 大模型

    简单说,openai发现,用大batch size配合大的learning rate,和用小batch size和小learning rate最终到达的效果是一样的。当然,后面他们也一直都是这样实践的。

参考

1\] https://kexue.fm/archives/10542

相关推荐
yinhezhanshen4 分钟前
理解rust里面的copy和clone
开发语言·后端·rust
吴梓穆6 分钟前
UE5学习笔记 FPS游戏制作35 使用.csv配置文件
笔记·学习·ue5
虾球xz9 分钟前
游戏引擎学习第199天
学习·游戏引擎
Jtti20 分钟前
PHP在Debian环境上的并发处理能力如何
开发语言·debian·php
时光追逐者24 分钟前
在 Blazor 中使用 Chart.js 快速创建数据可视化图表
开发语言·javascript·信息可视化·c#·.net·blazor
独好紫罗兰26 分钟前
洛谷题单3-P5718 【深基4.例2】找最小值-python-流程图重构
开发语言·python·算法
小天努力学java29 分钟前
【面试题】如何用两个线程轮流输出0-200的值
java·开发语言
云边有个稻草人31 分钟前
【C++】第八节—string类(上)——详解+代码示例
开发语言·c++·迭代器·string类·语法糖auto和范围for·string类的常用接口·operator[]
夏天想1 小时前
vant4+vue3上传一个pdf文件并实现pdf的预览。使用插件pdf.js
开发语言·javascript·pdf·vant
惊鸿一博1 小时前
c++ &&(通用引用)和&(左值引用)区别
开发语言·c++