pytorch:debug dataLoader for循环的时候,很卡顿,进不去transform里面断点

推荐解决方案:

  • 前一进程还未处理完,又进入下一个导致互锁,在一个Epoch完了后,或者每次获取一个batch数据后停顿一下: time.sleep(0.003)
  • 内存问题,使用开关:pin_memory=True/False
  • 多进程导致互锁问题,减少进程数,或直接使用一个:num_workers=0/1
  • 使用其他DataLoader的问题,改为: from torch.utils.data.dataloader import DataLoader
  • 内存大小不够的问题:writing 8192 to /proc/sys/kernel/shmmni
  • 如果脚本中同时使用了OpenCV,可能是OpenCV与Pytorch互锁的问题。
  • 关闭OpenCV的多线程:
  • cv2.setNumThreads(0)
  • cv2.ocl.setUseOpenCL(False)
  • 是否存在打开文件未关闭的问题:openfile.close()
相关推荐
海外数字观察家7 小时前
马来西亚商贸数字化落地指南:跨境批发、连锁零售首选ERP方案(品未云)
大数据·人工智能·马来西亚进销存系统·马来西亚收银系统·马来西亚erp系统·马来西亚仓库管理系统
珠海西格电力7 小时前
数据采集与治理:零碳园区管理系统的 “生命线”
大数据·人工智能·算法·架构·能源
MobotStone7 小时前
腾讯 WorkBuddy、钉钉悟空、字节飞书 Aily 深度工程设计与实战落地评估报告
人工智能
感性的随7 小时前
【机器人 / 强化学习】LWD(Learning while Deploying)机器人持续进化的强化学习框架
人工智能·深度学习·机器人
zandy10117 小时前
体验家 XMPlus 客户之声AI检索引擎:从海量开放式反馈中秒级定位关键洞察
人工智能
wahahaman7 小时前
基于GBDT的次日降水量预测实验
人工智能·python·机器学习·数据分析
水如烟7 小时前
孤能子视角:三十六计之金蝉脱壳——中断与撤离
人工智能
月光船幽幽7 小时前
构建多节点耦合动力学仿真框架
人工智能·科技·拓扑学
Nontee7 小时前
数据类型与包装类 — 一个新手学Java的数据类型笔记
java·笔记·python
私人珍藏库7 小时前
[Android] 聊天记录微备份 -聊天记录备份+本地数据备份
android·人工智能·app·软件·多功能