技术栈
梯度累积
Iareges
2 个月前
python
·
深度学习
·
算法
·
自然语言处理
·
梯度累积
·
梯度检查点
浅谈梯度累积（Gradient Accumulation）和梯度检查点（Gradient Checkpointing）
在讨论梯度累积技术之前，让我们先回顾一些 PyTorch 的基础知识，特别是关于模型的梯度计算和参数更新。以下是一个简单的线性模型示例：