pytorch:debug dataLoader for循环的时候,很卡顿,进不去transform里面断点

推荐解决方案:

  • 前一进程还未处理完,又进入下一个导致互锁,在一个Epoch完了后,或者每次获取一个batch数据后停顿一下: time.sleep(0.003)
  • 内存问题,使用开关:pin_memory=True/False
  • 多进程导致互锁问题,减少进程数,或直接使用一个:num_workers=0/1
  • 使用其他DataLoader的问题,改为: from torch.utils.data.dataloader import DataLoader
  • 内存大小不够的问题:writing 8192 to /proc/sys/kernel/shmmni
  • 如果脚本中同时使用了OpenCV,可能是OpenCV与Pytorch互锁的问题。
  • 关闭OpenCV的多线程:
  • cv2.setNumThreads(0)
  • cv2.ocl.setUseOpenCL(False)
  • 是否存在打开文件未关闭的问题:[openfile].close()
相关推荐
友思特 智能感知1 分钟前
友思特案例 | 金属行业视觉检测案例四:挖掘机钢板表面光学字符识别(OCR)检测
人工智能·视觉检测·深度学习视觉检测
爱吃泡芙的小白白5 分钟前
CNN激活函数新篇:Sigmoid与Softmax的进化与实战
人工智能·神经网络·cnn·softmax·sigmoid·函数激活层
有代理ip6 分钟前
Python 与 Golang 爬虫的隐藏优势
爬虫·python·golang
数研小生8 分钟前
1688商品列表API:高效触达批发电商海量商品数据的技术方案
大数据·python·算法·信息可视化·json
星爷AG I10 分钟前
9-27 视觉表象(AGI基础理论)
人工智能·agi
Coder_Boy_10 分钟前
基于SpringAI的在线考试系统-企业级教育考试系统核心架构(完善版)
开发语言·人工智能·spring boot·python·架构·领域驱动
艾莉丝努力练剑10 分钟前
【Linux:文件】基础IO:文件操作的系统调用和库函数各个接口汇总及代码演示
linux·运维·服务器·c++·人工智能·centos·io
Leinwin16 分钟前
VibeVoice-ASR:突破60分钟长音频处理瓶颈,语音识别进入端到端时代
人工智能·音视频·语音识别
Godspeed Zhao20 分钟前
从零开始学AI7——机器学习0
人工智能·机器学习
Dev7z21 分钟前
基于深度学习的肺音分类算法研究
人工智能·深度学习