技术栈
optimizer
@Mr_LiuYang
1 个月前
深度学习
·
优化算法
·
adam
·
optimizer
·
学习率调整
深度学习pytorch之19种优化算法(optimizer)解析
提示:有谬误请指正本博客详细介绍了多种常见的深度学习优化算法,包括经典的LBFGS 、Rprop 、Adagrad、RMSprop 、Adadelta 、ASGD 、Adamax、Adam、AdamW、NAdam、RAdam以及SparseAdam等,通过对这些算法的公式和参数说明进行详细解析,博客旨在为机器学习工程师和研究人员提供清晰的理论指导,帮助读者选择合适的优化算法提升模型训练效率。
Iareges
6 个月前
人工智能
·
pytorch
·
python
·
源码
·
优化算法
·
sgd
·
optimizer
PyTorch源码系列(一)——Optimizer源码详解
PyTorch的 Optimizer 类是深度学习模型中用于管理和更新模型参数的基类。它负责根据损失函数的梯度信息调整模型的参数,使模型逐步逼近最佳状态。Optimizer 类通过实现一些核心方法,如 step(),来执行参数更新过程,而 zero_grad() 方法则用于清除模型中所有参数的梯度。