clip_grad_norm_ 梯度裁剪

torch.nn.utils.clip_grad_norm_ 函数是用来对模型的梯度进行裁剪的。在深度学习中,经常会使用梯度下降算法来更新模型的参数,以最小化损失函数。然而,在训练过程中,梯度可能会变得非常大,这可能导致训练不稳定甚至梯度爆炸的情况。

裁剪梯度的作用是限制梯度的大小,防止它们变得过大。裁剪梯度的常见方式是通过计算梯度的范数(即梯度向量的长度),如果梯度的范数超过了设定的阈值,则对梯度向量进行缩放,使其范数等于阈值。

复制代码
torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)  

对模型的参数的梯度进行裁剪,限制其范数为1.0。这有助于防止梯度爆炸,提高训练的稳定性

深层神经网络 中常用,避免梯度爆炸

相关推荐
zzzzzz310几秒前
一篇文章发五个平台:我用 TRAE Work 搭了条内容分发流水线,2 小时变 20 分钟
人工智能·markdown
xushichang123_11 分钟前
如何通过云平台与架构优化,解决 Agentic AI 应用 Token 消耗过高问题?
人工智能
菜冻鱼13 分钟前
Python-pytorch-高级技巧
开发语言·人工智能·pytorch·python·深度学习·神经网络·聚类
菜冻鱼31 分钟前
Python-pytorch-模型保存与加载
开发语言·人工智能·pytorch·python·深度学习·机器学习
程序员cxuan44 分钟前
Claude Code :如何最大化你的 Session 价值
人工智能·后端·程序员
MatrixOrigin1 小时前
MatrixOne Git4Data 技术详解(十一)·大模型篇:SFT 数据 curation——可审计、可复现的数据清洗
人工智能·矩阵起源·数据底座·git4data
小酒星小杜1 小时前
AI漫画真正的门槛,不是出图,而是让角色持续出演
人工智能·产品·全栈
LaughingZhu1 小时前
Product Hunt 每日热榜 | 2026-08-19
经验分享·深度学习·神经网络·百度·产品运营
数智大号2 小时前
从机器人前置仓到机器人组装机器人,星海图 WRC 打开具身智能产业化下半场
人工智能·机器人