clip_grad_norm_ 梯度裁剪

torch.nn.utils.clip_grad_norm_ 函数是用来对模型的梯度进行裁剪的。在深度学习中,经常会使用梯度下降算法来更新模型的参数,以最小化损失函数。然而,在训练过程中,梯度可能会变得非常大,这可能导致训练不稳定甚至梯度爆炸的情况。

裁剪梯度的作用是限制梯度的大小,防止它们变得过大。裁剪梯度的常见方式是通过计算梯度的范数(即梯度向量的长度),如果梯度的范数超过了设定的阈值,则对梯度向量进行缩放,使其范数等于阈值。

复制代码
torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)  

对模型的参数的梯度进行裁剪,限制其范数为1.0。这有助于防止梯度爆炸,提高训练的稳定性

深层神经网络 中常用,避免梯度爆炸

相关推荐
Zoey的笔记本3 分钟前
告别“人机混战”:如何用智能管控实现安全高效协同
大数据·人工智能
奥利文儿9 分钟前
【虚拟机】Ubuntu24安装Miniconda3全记录:避坑指南与实践
大数据·数据仓库·人工智能·数据库开发·etl·虚拟机·etl工程师
2401_8353024810 分钟前
精准测试赋能高端制造!陶瓷基板介电常数测试的核心价值
大数据·人工智能·制造
寂寞恋上夜24 分钟前
从需求到开发任务:WBS拆解的4个层级(附排期模板)
人工智能·prompt·markdown转xmind·deepseek思维导图
Tipriest_24 分钟前
配置用户pip源与查看当前的pip的源的办法
linux·人工智能·python·pip
机器学习算法与Python实战32 分钟前
DeepSeek-OCR本地部署(1):CUDA 升级12.9,不重启,教程
人工智能·ocr
山野蓝莓酸奶昔41 分钟前
InternNav 环境配置:Failed to build flash_attn解决办法
人工智能·深度学习
Coder_Boy_44 分钟前
基于SpringAI的智能OPS平台AIops介绍
人工智能·spring boot·aiops·faiss
Apifox.1 小时前
Apifox 12 月更新| AI 生成用例同步生成测试数据、接口文档完整性检测、设计 SSE 流式接口、从 Git 仓库导入数据
前端·人工智能·git·ai·postman·团队开发