pytorch:debug dataLoader for循环的时候,很卡顿,进不去transform里面断点

推荐解决方案:

  • 前一进程还未处理完,又进入下一个导致互锁,在一个Epoch完了后,或者每次获取一个batch数据后停顿一下: time.sleep(0.003)
  • 内存问题,使用开关:pin_memory=True/False
  • 多进程导致互锁问题,减少进程数,或直接使用一个:num_workers=0/1
  • 使用其他DataLoader的问题,改为: from torch.utils.data.dataloader import DataLoader
  • 内存大小不够的问题:writing 8192 to /proc/sys/kernel/shmmni
  • 如果脚本中同时使用了OpenCV,可能是OpenCV与Pytorch互锁的问题。
  • 关闭OpenCV的多线程:
  • cv2.setNumThreads(0)
  • cv2.ocl.setUseOpenCL(False)
  • 是否存在打开文件未关闭的问题:[openfile].close()
相关推荐
秋刀鱼 ..9 分钟前
2026年新一代智能通信与信号处理研讨会
人工智能·神经网络·物联网·计算机网络·人机交互·信号处理
likeshop 好像科技23 分钟前
新手学习AI智能体Agent逻辑设计的指引
人工智能·学习·开源·github
许泽宇的技术分享32 分钟前
当 AI Agent 遇上可观测性:AgentOpenTelemetry 让你的智能体不再“黑盒“
人工智能·可观测性·opentelemetry·agentframework
加载中36133 分钟前
LLM基础知识,langchainV1.0讲解(一)
人工智能·langchain
一水鉴天38 分钟前
整体设计 定稿 之23 dashboard.html 增加三层次动态记录体系仪表盘 之2 程序 (Q199 之1)
人工智能·架构·自动化
秋刀鱼 ..42 分钟前
2026年电力电子与电能变换国际学术会议 (ICPEPC 2026)
大数据·python·计算机网络·数学建模·制造
未来智慧谷1 小时前
技术周报 | 特朗普签令统一AI监管;长三角启动应用征集;多场开发者大会本周密集召开
人工智能
智算菩萨1 小时前
检索增强生成(RAG)技术原理深度解析:突破大模型知识边界的范式革命
人工智能·rag
znhy_231 小时前
day35打卡
python
mys55181 小时前
杨建允:AI搜索趋势对教育培训行业获客的影响
人工智能·geo·ai搜索优化·geo优化·ai引擎优化