pytorch:debug dataLoader for循环的时候,很卡顿,进不去transform里面断点

推荐解决方案:

  • 前一进程还未处理完,又进入下一个导致互锁,在一个Epoch完了后,或者每次获取一个batch数据后停顿一下: time.sleep(0.003)
  • 内存问题,使用开关:pin_memory=True/False
  • 多进程导致互锁问题,减少进程数,或直接使用一个:num_workers=0/1
  • 使用其他DataLoader的问题,改为: from torch.utils.data.dataloader import DataLoader
  • 内存大小不够的问题:writing 8192 to /proc/sys/kernel/shmmni
  • 如果脚本中同时使用了OpenCV,可能是OpenCV与Pytorch互锁的问题。
  • 关闭OpenCV的多线程:
  • cv2.setNumThreads(0)
  • cv2.ocl.setUseOpenCL(False)
  • 是否存在打开文件未关闭的问题:[openfile].close()
相关推荐
p***9248几秒前
Python使用PyMySQL操作MySQL完整指南
数据库·python·mysql
琥珀食酒社1 分钟前
菜鸟找到舒适区
大数据·人工智能
猿类崛起@6 分钟前
2025秋招LLM大模型多模态面试题:110道大模型面试常见问题及答案,助你拿下AI工程师岗位!
人工智能·机器学习·ai·性能优化·大模型·prompt·大模型训练
MonkeyKing_sunyuhua8 分钟前
量化只支持a8w8和w4a8,其中a8w8和w4a8是什么意思?
人工智能·算法
霍格沃兹测试开发学社8 分钟前
被裁后,我如何实现0到3份大厂Offer的逆袭?(内附面试真题)
人工智能·selenium·react.js·面试·职场和发展·单元测试·压力测试
颜颜yan_11 分钟前
CANN异构计算架构深度解析:打造高效AI开发利器
人工智能·架构·昇腾·cann
paopao_wu12 分钟前
人脸检测与识别-InsightFace:向量相似性搜索Faiss
人工智能·yolo·目标检测·ocr·faiss
GISer_Jing12 分钟前
SSE Conf大会分享——UTOO WASM:AI时代的浏览器原生极速研发套件
前端·人工智能·架构·wasm
kali-Myon18 分钟前
NewStarCTF2025-Week5-Web
java·python·安全·web安全·php·web·ctf
海边夕阳200622 分钟前
【每天一个AI小知识】:什么是Prompt?
人工智能·prompt