clip_grad_norm_ 梯度裁剪

torch.nn.utils.clip_grad_norm_ 函数是用来对模型的梯度进行裁剪的。在深度学习中,经常会使用梯度下降算法来更新模型的参数,以最小化损失函数。然而,在训练过程中,梯度可能会变得非常大,这可能导致训练不稳定甚至梯度爆炸的情况。

裁剪梯度的作用是限制梯度的大小,防止它们变得过大。裁剪梯度的常见方式是通过计算梯度的范数(即梯度向量的长度),如果梯度的范数超过了设定的阈值,则对梯度向量进行缩放,使其范数等于阈值。

复制代码
torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)  

对模型的参数的梯度进行裁剪,限制其范数为1.0。这有助于防止梯度爆炸,提高训练的稳定性

深层神经网络 中常用,避免梯度爆炸

相关推荐
光锥智能1 天前
沐曦股份双展区亮相WAIC 2026,全栈自研赋能千
人工智能
薛定猫AI1 天前
【技术干货】大模型能力评测实战:Python构建可复现的模型选型流水线
人工智能·后端
卷无止境1 天前
Cognee:面向 AI 智能体的开源记忆平台
人工智能·python
东风破_1 天前
把一篇网页放进 RAG 知识库:Loader、文档切分与语义检索实战
人工智能
禅与计算机程序设计艺术1 天前
【DeepThink Research】长程任务 Agent 的工程实现机制:中断续跑、记忆分层、长上下文不丢失与分布式优雅升级
人工智能
糖果店的幽灵1 天前
【langgraph 从入门到精通graphApi 篇】Command 与动态流程控制
android·java·数据库·人工智能·langgraph
深蓝AI1 天前
KTransformers 实战:消费级显卡本地跑满血 DeepSeek,CPU-GPU 异构推理全攻略
人工智能
魏祖潇1 天前
AI幻觉不是用更大模型解决——RAG增强+引用溯源+置信度标注让AI开口必带出处
人工智能·ai编程
QN1幻化引擎1 天前
认知架构调度与语言模型辅助:DalinX V8 Track 1 实验报告
人工智能·语言模型·架构
大模型丫丫1 天前
Agent开发的难点是什么呢?
大数据·人工智能·学习