pytorch:debug dataLoader for循环的时候,很卡顿,进不去transform里面断点

推荐解决方案:

  • 前一进程还未处理完,又进入下一个导致互锁,在一个Epoch完了后,或者每次获取一个batch数据后停顿一下: time.sleep(0.003)
  • 内存问题,使用开关:pin_memory=True/False
  • 多进程导致互锁问题,减少进程数,或直接使用一个:num_workers=0/1
  • 使用其他DataLoader的问题,改为: from torch.utils.data.dataloader import DataLoader
  • 内存大小不够的问题:writing 8192 to /proc/sys/kernel/shmmni
  • 如果脚本中同时使用了OpenCV,可能是OpenCV与Pytorch互锁的问题。
  • 关闭OpenCV的多线程:
  • cv2.setNumThreads(0)
  • cv2.ocl.setUseOpenCL(False)
  • 是否存在打开文件未关闭的问题:[openfile].close()
相关推荐
0思必得05 分钟前
[Web自动化] HTML列表标签
运维·python·自动化·html·web自动化
weixin_429690725 分钟前
数字人源码部署供应商
人工智能·python
司南OpenCompass8 分钟前
Gemini-3-Pro 强势登顶,GPT-5.1 转向“创作型选手”?丨多模态模型11月最新榜单揭晓
人工智能·多模态模型·大模型评测·司南评测·大模型测评
电饭叔14 分钟前
一个构建指定坐标轴在默认点(0,0)的构造方法《python语言程序设计》2018版--第8章17题第2部分
开发语言·笔记·python
qq_2515335914 分钟前
Python 查找元组中列表的数量
开发语言·python
qq_1601448715 分钟前
2025年北京地区人工智能认证报考指南:以CAIE为例
人工智能
计算机学姐17 分钟前
基于Python的在线考试系统【2026最新】
开发语言·vue.js·后端·python·mysql·django·flask
yeshihouhou21 分钟前
redis(hash)使用场景
redis·python·哈希算法
子豪-中国机器人22 分钟前
Python 生成二维码并操作文件笔记
python
wjykp23 分钟前
第七章二 :文件操作
python