- 在训练神经网络的过程中,随着batch size的增大,处理相同数据量的速度会越来越快,但是达到相同精度所需要的epoch数量越来越多
- 换句话说,使用相同的epoch数量时,大batch size训练的模型与小batch size训练的模型相比,验证准确率会减小
- ------>提出了linear scaling learning rate
- 在mini-batch SGD训练时,增大batch size不会改变梯度的期望,但是会降低它的方差
- ------>batch size 增加时,增大学习率来加快收敛
- eg,batch size为256时选择的学习率是0.1,当我们把batch size变为一个较大的数b时,学习率应该变为
0.1 × b/256
- eg,batch size为256时选择的学习率是0.1,当我们把batch size变为一个较大的数b时,学习率应该变为
机器学习笔记:linear scaling learning rate (学习率 和batch size的关系)
UQI-LIUWJ2023-12-17 19:07
相关推荐
DisonTangor7 分钟前
上海AI气象大模型提前6天预测“贝碧嘉”台风登陆浦东 今年已多次精准预测liangbm319 分钟前
数学建模笔记——动态规划人工智能培训咨询叶梓24 分钟前
生成式人工智能在无人机群中的应用、挑战和机遇潮汐退涨月冷风霜25 分钟前
机器学习之非监督学习(四)K-means 聚类算法LQS202028 分钟前
机器学习与深度学习之间的区别GoppViper30 分钟前
golang学习笔记29——golang 中如何将 GitHub 最新提交的版本设置为 v1.0.0B站计算机毕业设计超人31 分钟前
计算机毕业设计Python+Flask微博情感分析 微博舆情预测 微博爬虫 微博大数据 舆情分析系统 大数据毕业设计 NLP文本分类 机器学习 深度学习 AI羊小猪~~35 分钟前
深度学习基础案例5--VGG16人脸识别(体验学习的痛苦与乐趣)Zhangci]35 分钟前
OpenCv(一)钡铼技术37 分钟前
通过iFIX在ARMxy边缘计算网关上实现维护管理