技术栈
梯度检查点
Iareges
2 个月前
python
·
深度学习
·
算法
·
自然语言处理
·
梯度累积
·
梯度检查点
浅谈梯度累积(Gradient Accumulation)和梯度检查点(Gradient Checkpointing)
在讨论梯度累积技术之前,让我们先回顾一些 PyTorch 的基础知识,特别是关于模型的梯度计算和参数更新。以下是一个简单的线性模型示例: