深度学习踩坑记录

深度学习踩坑记录

在跑一个深度学习的项目的时候,为了计算每个epoch的Loss,肯定要把每个batch_size的loss给加起来,就会有类似如下的代码

python 复制代码
train_loss += loss

是的当时手抖,忘了是loss.item(),代码也能正常运行,也能正常算,并且每一步需要跑的时间也是一样的,但是这样会导致每一步的内存都是叠加的。并且这种占显存的方式你在nvidia-smi还看不出来,得去htop里面看,一看好家伙,显存占的高的离谱,正常来说我就占4个G,他占了十几个G,当时就感觉不对劲了,后面发现这叫显存泄露

总而言之言而总之,如果你直接+loss,也能跑,结果也是一样的,但是这就会导致需要的内存一步步的叠加,我是跑到10几个epoch的时候莫名其妙被killed了,去查了一下是out of memory的问题,刚开始还以为是别的因素,后面才发现是我的问题T T

相关推荐
Memene摸鱼日报18 分钟前
「Memene 摸鱼日报 2025.9.16」OpenAI 推出 GPT-5-Codex 编程模型,xAI 发布 Grok 4 Fast
人工智能·aigc
xiaohouzi11223322 分钟前
OpenCV的cv2.VideoCapture如何加GStreamer后端
人工智能·opencv·计算机视觉
用户1252055970824 分钟前
解决Stable Diffusion WebUI训练嵌入式模型报错问题
人工智能
Juchecar26 分钟前
一文讲清 nn.LayerNorm 层归一化
人工智能
martinzh27 分钟前
RAG系统大脑调教指南:模型选择、提示设计与质量控保一本通
人工智能
小关会打代码27 分钟前
计算机视觉案例分享之答题卡识别
人工智能·计算机视觉
Juchecar28 分钟前
一文讲清 nn.Linear 线性变换
人工智能
Se7en25844 分钟前
使用 NVIDIA Dynamo 部署 PD 分离推理服务
人工智能
隐语SecretFlow1 小时前
国人自研开源隐私计算框架SecretFlow,深度拆解框架及使用【开发者必看】
深度学习
海拥1 小时前
用 LazyLLM 搭建一个代码注释 / 文档 Agent 的实测体验
人工智能