sgd

PyTorch源码系列（一）——Optimizer源码详解PyTorch的 Optimizer 类是深度学习模型中用于管理和更新模型参数的基类。它负责根据损失函数的梯度信息调整模型的参数，使模型逐步逼近最佳状态。Optimizer 类通过实现一些核心方法，如 step()，来执行参数更新过程，而 zero_grad() 方法则用于清除模型中所有参数的梯度。

深度学习 --- stanford cs231学习笔记七(训练神经网络之梯度下降优化器)在深度学习中，权重W的值是否合理是由损失函数L来判断的。L越小，表示W的设置越happy。L越大，表示W的值越unhappy。为了让L越来越小，常用的方法是梯度下降法。

Pytorch-SGD算法解析关注B站可以观看更多实战教学视频：肆十二-的个人空间-肆十二-个人主页-哔哩哔哩视频 (bilibili.com)

聊聊神经网络的优化算法优化算法主要用于调整神经网络中的超参数，使得训练数据集上的损失函数尽可能小。其核心逻辑是通过计算损失函数对参数的梯度（导数）来确定参数更新方向。