Pytorch性能调优简单总结

前言

本文为我最近一段时间以来对pytorch一些底层原理的使用和认识,着重在**"这技术怎样提高我们的训练效率"**,有以下几个方向

  • 超参数调优
  • .cuda传递数据
  • 混合精度计算

本文目标是针对和我一样刚入门的读者,方便比较快的上手,然后我后续也会慢慢深入理解

超参数调优

有几个参数是我们需要注意的,

DataLoader方面:

  • batch_size,这里我们需要针对我们GPU的显存进行调整,对于我们拷贝的不同项目,我们尤其要注意这里的大小,调整它来适应我们自己的硬件环境

意义就是,batch_size越大,则我们迭代的次数越少,越快执行完,但是可能导致GPU显存溢出

比如我个人的电脑是:rtx4060,具体显存如下

然后我拷贝了一个github项目,发现它超参数的设定是这样:

XML 复制代码
  crop:
      type: center
      size: [224, 224] # crop image with HxW size
  batch_size: 4
  n_sup: 183
  noise_std: 0.1
  workers: 16
  mean: [123.675, 116.28, 103.53]
  std: [58.395, 57.12, 57.375]
  ignore_label: 255

那我根据我个人显存的大小,我就要对其batch_size进行调整,否则会OOM错误(显存溢出)

  • num_worker:这参数重点是针对CPU的,参考这一篇博文

Pytorch dataloader中的num_workers (选择最合适的num_workers值)_dataloader的numworkers-CSDN博客

总结一下,num_worker是任务运行中,专门创建用来加载数据的子进程数目,将原来一个进程做的任务专门分出加载数据这一个任务,交给一个新的进程做,有点类似内外存交换中的DMA操作,这里主进程类似DMA中的CPU,子进程类似DMA中的DMA控制器。

按照上一篇博文,我在个人电脑运行博文中提到的脚本,可以看出

我个人num_workers的极限是16

  • ping_memory,参考这篇博文

Pytorch DataLoader pin_memory 理解 - 知乎

总结一下,ping_memory是将内存中的一部分页面专门用来和GPU进行交换数据,因此设置为True可以显著增加速度

cuda传递数据

使用方法:

python 复制代码
.to(device)

参考下面几篇博文

PyTorch 中的数据与模型迁移:理解 .to(device) 的使用 - Jeremy Feng's Blog

pytorch:to()、device()、cuda()将Tensor或模型移动到指定的设备上_to(device)-CSDN博客

然后从AI问答中,还得到了一些关键信息

  • CPU→GPU/GPU→CPU 的拷贝是同步操作(会阻塞主线程),且涉及 PCIe 总线传输,耗时比设备内计算高一个数量级;
  • 优化建议:批量迁移数据(而非单样本)、尽量减少跨设备拷贝(如训练时全程在 GPU,仅推理结果拷贝回 CPU)。

但是,转移到目标设备,仅仅只是最基础的操作,远远达不到我们充分发挥GPU性能的要求,但这也算最基本的,因此我们也必须了解

混合精度

参考下面博文

PyTorch的自动混合精度(AMP) - 知乎

我的总结是:python数据类型有fp16,fp32,int8,int16,我们可以知道,对于浮点数和整型的数据,CPU的计算难度不可同日而语,浮点数计算过程往往比整型耗时更多,而浮点数精度越高,往往耗时更多

而混合精度,就是在pytorch计算时选择性的使用高精度的浮点数,这样减少计算量

下面是我使用混合精度前的一个批次计算耗时:

使用混合精度后的计算耗时

可以看出,提升是非常大的,但是有个不足,因为不同的任务对数据精度要求不一样,因此如果低精度可能会影响我们部分任务的预测结果!!但混合精度带来的提升是很明显的

相关推荐
Flynn Liang9 小时前
多智能体协同不再复杂:Redis Stream 消费者组、幂等与故障恢复
数据库·人工智能·redis·缓存·ai agent·智能体
VIP_CQCRE18 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
wuyk55518 小时前
Python办公自动化-第01讲-环境搭建与自动化认知
python·自动化·pyqt
泯泷19 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我19 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁0119 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
ComPDFKit19 小时前
RAG 回答只显示 PDF 文件名?用 Python 保留引用页码
开发语言·python·pdf·rag
Csvn20 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄21 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
yz_aiks21 小时前
Termux 使用教程:把安卓手机变成随身 Linux(装 Python、SSH 远程、跑自动化脚本)
android·linux·python·智能手机·ssh·termux