Pytorch DataLoader 提高模型训练时的 Volatile Gpu-Util(GPU利用率)

文章目录

  • [1. 查看GPU显存占比和利用率](#1. 查看GPU显存占比和利用率)
  • [2. Pytorch 提高 GPU 利用率的方法](#2. Pytorch 提高 GPU 利用率的方法)

1. 查看GPU显存占比和利用率

python 复制代码
watch -n 0.2 nvidia-smi

0.2 代表每隔 0.2 秒刷新一次 GPU 使用情况

通过调整 batch_size 可以使 Memory-Usage(GPU显存占比)尽可能高;但Volatile Gpu-Util(GPU利用率)通常在 0 ~ 100% 之间动态变化,因为 GPU 用于网络中的矩阵运算,但数据集是从 CPU 中加载的。所以在网络训练时 Gpu-Util 高,数据加载时 Gpu-Util 低。

2. Pytorch 提高 GPU 利用率的方法

如上图的绿色框所示,Gpu-Util 是动态变化的。但如果出现 GPU 显存占用很高,模型也在 cuda 上面执行,但训练速度很慢,且 Gpu-Util 很低的情况; 可能原因是 CPU 的数据加载太慢,尤其是在多卡服务器中,多个程序同时执行,这个问题会更加严重。

此时应该在 Pytorch 的 DataLoader 中设置 "pin_memory=True",以及num_workers 参数:

python 复制代码
from torch.utils.data import DataLoader
train_dataloader = DataLoader(dataset, batch_size, pin_memory=True, num_workers=4)
  • pin_memory 用于设置是否在 dataloader 返回数据之前将 Tensors 复制到 device/CUDA 中,默认为 False。其作用是锁页内存,将数据存储在的固定内存页上,不与硬盘进行内存交换,从而提高将数据从 CPU 传输到 GPU 的效率。
  • num_workers 用于设置加载数据的多进程的数量,默认为 0。在 windows 系统下可能只能设置为 0,在 linux 中可以设置为大于 1 的数,具体设置与服务器的 CPU 数量、batch_size 等参数有关。

Pytorch DataLoader class 官方介绍:torch.utils.data.DataLoader

实际使用中,在 batch_size=32 时,设置 pin_memory=True 和 num_workers=4 的训练速度是设置 pin_memory=False和 num_workers=0 的 40 倍。

相关推荐
陈鋆15 分钟前
智慧城市初探与解决方案
人工智能·智慧城市
qdprobot15 分钟前
ESP32桌面天气摆件加文心一言AI大模型对话Mixly图形化编程STEAM创客教育
网络·人工智能·百度·文心一言·arduino
QQ395753323716 分钟前
金融量化交易模型的突破与前景分析
人工智能·金融
QQ395753323716 分钟前
金融量化交易:技术突破与模型优化
人工智能·金融
The_Ticker29 分钟前
CFD平台如何接入实时行情源
java·大数据·数据库·人工智能·算法·区块链·软件工程
Elastic 中国社区官方博客35 分钟前
Elasticsearch 开放推理 API 增加了对 IBM watsonx.ai Slate 嵌入模型的支持
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
jwolf235 分钟前
摸一下elasticsearch8的AI能力:语义搜索/vector向量搜索案例
人工智能·搜索引擎
有Li44 分钟前
跨视角差异-依赖网络用于体积医学图像分割|文献速递-生成式模型与transformer在医学影像中的应用
人工智能·计算机视觉
傻啦嘿哟1 小时前
如何使用 Python 开发一个简单的文本数据转换为 Excel 工具
开发语言·python·excel
B站计算机毕业设计超人1 小时前
计算机毕业设计SparkStreaming+Kafka旅游推荐系统 旅游景点客流量预测 旅游可视化 旅游大数据 Hive数据仓库 机器学习 深度学习
大数据·数据仓库·hadoop·python·kafka·课程设计·数据可视化