pytorch:debug dataLoader for循环的时候,很卡顿,进不去transform里面断点

推荐解决方案:

  • 前一进程还未处理完,又进入下一个导致互锁,在一个Epoch完了后,或者每次获取一个batch数据后停顿一下: time.sleep(0.003)
  • 内存问题,使用开关:pin_memory=True/False
  • 多进程导致互锁问题,减少进程数,或直接使用一个:num_workers=0/1
  • 使用其他DataLoader的问题,改为: from torch.utils.data.dataloader import DataLoader
  • 内存大小不够的问题:writing 8192 to /proc/sys/kernel/shmmni
  • 如果脚本中同时使用了OpenCV,可能是OpenCV与Pytorch互锁的问题。
  • 关闭OpenCV的多线程:
  • cv2.setNumThreads(0)
  • cv2.ocl.setUseOpenCL(False)
  • 是否存在打开文件未关闭的问题:[openfile].close()
相关推荐
翱翔的苍鹰1 小时前
多Agent智能体架构设计思路
人工智能·pytorch·python
小毅&Nora1 小时前
【后端】【Python】① Windows系统下Python环境变量设置指南
python·pip
Liue612312311 小时前
【AI计算机视觉】YOLOv26硬币检测与识别系统,高效准确识别各类硬币,代码与模型全开源,不容错过_2
人工智能·yolo·计算机视觉
Faker66363aaa2 小时前
航空基地设施目标检测 - YOLOv26实现战斗机机库非作战飞机旋翼飞机自动识别定位
人工智能·yolo·目标检测
Lun3866buzha2 小时前
Bundaberg Rum 700mL酒瓶检测实战:基于YOLOv26的高精度识别方案
人工智能·yolo·目标跟踪
Σίσυφος19002 小时前
OpenCV - SVM算法
人工智能·opencv·算法
落雨盛夏4 小时前
深度学习|李哥考研4图片分类比较详细说明
人工智能·深度学习·分类
臭东西的学习笔记8 小时前
论文学习——机器学习引导的蛋白质工程
人工智能·学习·机器学习
Rabbit_QL8 小时前
【水印添加工具】从零设计一个工程级 Python 图片水印工具:WaterMask 架构与实现
开发语言·python