clip_grad_norm_ 梯度裁剪

torch.nn.utils.clip_grad_norm_ 函数是用来对模型的梯度进行裁剪的。在深度学习中,经常会使用梯度下降算法来更新模型的参数,以最小化损失函数。然而,在训练过程中,梯度可能会变得非常大,这可能导致训练不稳定甚至梯度爆炸的情况。

裁剪梯度的作用是限制梯度的大小,防止它们变得过大。裁剪梯度的常见方式是通过计算梯度的范数(即梯度向量的长度),如果梯度的范数超过了设定的阈值,则对梯度向量进行缩放,使其范数等于阈值。

复制代码
torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)  

对模型的参数的梯度进行裁剪,限制其范数为1.0。这有助于防止梯度爆炸,提高训练的稳定性

深层神经网络 中常用,避免梯度爆炸

相关推荐
VBsemi-专注于MOSFET研发定制17 分钟前
面向AI水泥厂储能系统的功率器件选型分析——以高可靠、高效率的能源转换与管理系统为例
人工智能·能源
海兰23 分钟前
【第2篇】LangChain的初步实践
人工智能·langchain
漫游的渔夫25 分钟前
别再直接 `json.loads` 了!AI 返回的 JSON 坑位指南
前端·人工智能
Warren2Lynch30 分钟前
AI 驱动的 UML 图表支持全景指南
人工智能·架构·uml
小鱼~~1 小时前
什么是父进程
人工智能
找了一圈尾巴1 小时前
OpenClaw技能实战:Experience Distiller 让AI从错误中自我进化
人工智能·openclaw
蕤葳-1 小时前
AI项目经验在招聘中的作用
人工智能
devpotato1 小时前
人工智能(四)- Function Calling 核心原理与实战
java·人工智能
进击的野人1 小时前
MCP协议:让AI应用像插USB一样连接外部世界
人工智能·agent·mcp
清空mega1 小时前
动手学深度学习——SSD
人工智能·深度学习