pytorch:debug dataLoader for循环的时候,很卡顿,进不去transform里面断点

推荐解决方案:

  • 前一进程还未处理完,又进入下一个导致互锁,在一个Epoch完了后,或者每次获取一个batch数据后停顿一下: time.sleep(0.003)
  • 内存问题,使用开关:pin_memory=True/False
  • 多进程导致互锁问题,减少进程数,或直接使用一个:num_workers=0/1
  • 使用其他DataLoader的问题,改为: from torch.utils.data.dataloader import DataLoader
  • 内存大小不够的问题:writing 8192 to /proc/sys/kernel/shmmni
  • 如果脚本中同时使用了OpenCV,可能是OpenCV与Pytorch互锁的问题。
  • 关闭OpenCV的多线程:
  • cv2.setNumThreads(0)
  • cv2.ocl.setUseOpenCL(False)
  • 是否存在打开文件未关闭的问题:openfile.close()
相关推荐
专注数据的痴汉几秒前
「数据下载」黑龙江省黑土区富锦市土地利用数据
大数据·人工智能·信息可视化
天才测试猿2 分钟前
软件测试知识总结(基础篇)
自动化测试·软件测试·python·功能测试·测试工具·职场和发展·测试用例
FII工业富联科技服务8 分钟前
工业AR进入智能化阶段:AR+AI+数字孪生融合架构解析
人工智能·架构·ar
崔子末22 分钟前
某影视库剧集列表以及查询接口逆向
爬虫·python
gogogo出发喽25 分钟前
v3 admin
python
papaofdoudou27 分钟前
判断排列逆序奇偶性的乘积判别法(范德蒙德符号法)
人工智能·算法
砖厂小工28 分钟前
Android PR Review:Skill、Model 和交叉 Review 谁更重要?
人工智能
孔汤姆39 分钟前
ESP32 掌机改造全记录:WiFi 遥测、一键启动 AI 终端
人工智能
HyperAI超神经40 分钟前
【vLLM 学习】Disaggregated Prefill
人工智能·深度学习·学习·vllm
我星期八休息1 小时前
网络编程—网络层
开发语言·前端·网络·人工智能·智能路由器