pytorch:debug dataLoader for循环的时候,很卡顿,进不去transform里面断点

推荐解决方案:

  • 前一进程还未处理完,又进入下一个导致互锁,在一个Epoch完了后,或者每次获取一个batch数据后停顿一下: time.sleep(0.003)
  • 内存问题,使用开关:pin_memory=True/False
  • 多进程导致互锁问题,减少进程数,或直接使用一个:num_workers=0/1
  • 使用其他DataLoader的问题,改为: from torch.utils.data.dataloader import DataLoader
  • 内存大小不够的问题:writing 8192 to /proc/sys/kernel/shmmni
  • 如果脚本中同时使用了OpenCV,可能是OpenCV与Pytorch互锁的问题。
  • 关闭OpenCV的多线程:
  • cv2.setNumThreads(0)
  • cv2.ocl.setUseOpenCL(False)
  • 是否存在打开文件未关闭的问题:[openfile].close()
相关推荐
开源技术1 小时前
深入了解Turso,这个“用Rust重写的SQLite”
人工智能·python
初恋叫萱萱1 小时前
构建高性能生成式AI应用:基于Rust Axum与蓝耘DeepSeek-V3.2大模型服务的全栈开发实战
开发语言·人工智能·rust
u0109272712 小时前
RESTful API设计最佳实践(Python版)
jvm·数据库·python
我材不敲代码6 小时前
Python实现打包贪吃蛇游戏
开发语言·python·游戏
0思必得08 小时前
[Web自动化] Selenium处理动态网页
前端·爬虫·python·selenium·自动化
水如烟8 小时前
孤能子视角:“组织行为学–组织文化“
人工智能
韩立学长8 小时前
【开题答辩实录分享】以《基于Python的大学超市仓储信息管理系统的设计与实现》为例进行选题答辩实录分享
开发语言·python
大山同学8 小时前
图片补全-Context Encoder
人工智能·机器学习·计算机视觉
qq_192779878 小时前
高级爬虫技巧:处理JavaScript渲染(Selenium)
jvm·数据库·python
薛定谔的猫19828 小时前
十七、用 GPT2 中文对联模型实现经典上联自动对下联:
人工智能·深度学习·gpt2·大模型 训练 调优