深度学习记录--mini-batch gradient descent

batch vs mini-batch gradient descent

batch:段,块

与传统的batch梯度下降不同,mini-batch gradient descent将数据分成多个子集,分别进行处理,在数据量非常巨大的情况下,这样处理可以及时进行梯度下降,大大加快训练速度

mini-batch gradient descent的原理

两种方法的梯度下降图如下图所示

batch gradient descent是一条正常的递减的曲线
mini-batch gradient descent是一条噪声很大 的曲线,分成许多小段时,每个小段是一条batch gradient descent曲线,总体看这条曲线还是递减的趋势
为什么会有区别呢?

mini-batch gradient descent中的,可能容易计算,也可能很难计算,这就导致cost时高时低,出现摆动,其实主要是mini-batch的大小的原因

mini-batch size

当size=m,mini-batch gradient descent变为batch gradient descent

梯度下降的噪声更小步长更大 ,最终会收敛于最小值(如下图蓝色曲线)

弊端:如果数据量很大时,单次迭代时间过长
当size=1,变为随机梯度下降(stochastic gradient descent),每个样本都是独立的

每个样本都是随机的,可能靠近最小值,也可能远离最小值,噪声很大无法收敛 ,最终在最小值附近波动(如下图紫色曲线)

弊端:由于每次只处理一个训练样本,失去了向量化的加速效果,训练效率过低
合适的size-->between1 and m

既可以获得向量化的加速效果,又可以及时进行后续操作(减少单次迭代时间)

梯度下降图如下图绿色曲线(噪声相对随机梯度下降较小,最终不会收敛,在最小值附近波动

相关推荐
说私域8 分钟前
情绪点设置在开源AI大模型驱动的S2B2C商城小程序AI智能名片中的应用研究
人工智能·小程序·开源
海底的星星fly26 分钟前
【Prompt学习技能树地图】思维链(CoT)提示技术工作原理、主要技术方法及实践应用
人工智能·语言模型·prompt
Avicli33 分钟前
从Prompt到Answer:详解AI Agent架构中的ReAct模式与工具调用
人工智能·prompt
腾飞开源1 小时前
AI智能体实战开发教程(从0到企业级项目落地):62节全完结,助力金九银十升职加薪!
人工智能·ai智能体·金九银十·agent落地实战·升职加薪·学习先机·企业级项目实战
黄啊码1 小时前
【黄啊码】别再花钱了,五分钟教你做一个国庆头像智能体小程序
人工智能
AI绘画哇哒哒1 小时前
实战:SQL统一访问200+数据源,构建企业级智能检索与RAG系统(下)
人工智能·sql·深度学习·学习·ai·程序员·大模型
2401_841495641 小时前
【计算机视觉】图像去雾技术
人工智能·python·opencv·算法·计算机视觉·技术·图像去雾
河北北重机械9661 小时前
汽车安全性能测试与铸铁底座的重要性
人工智能·算法·机器学习·铸铁底座·铁底座装配·试验台基底座加工
HyperAI超神经2 小时前
香港科技大学提出融合神经网络框架,高效预测蛋白质序列的多金属结合位点
人工智能·深度学习·ai
支付宝小程序云2 小时前
Ant Design X ✖️ 百宝箱智能体 SDK 极速构建 AI 聊天应用
人工智能