技术栈
梯度裁剪
JOYCE_Leo16
9 个月前
pytorch
·
python
·
深度学习
·
神经网络
·
梯度裁剪
PyTorch使用Tricks：梯度裁剪-防止梯度爆炸或梯度消失 ！！
前言1、对参数的梯度进行裁剪，使其不超过一个指定的值2、一个使用的torch.nn.utils.clip_grad_norm_ 例子