【知识】PyTorch种两种CUDA时间测量的方法对比

转载请注明出处:小锋学长生活大爆炸[xfxuezhagn.cn]

如果本文帮助到了你,欢迎[点赞、收藏、关注]哦~

在PyTorch中使用CUDA进行时间测量时,以下两者各有优缺点:

  • torch.cuda.current_stream(self._device).synchronize()
  • torch.cuda.Event(enable_timing=True)

torch.cuda.current_stream(self._device).synchronize()

  1. 功能torch.cuda.current_stream(self._device).synchronize() 会同步当前设备的CUDA流,确保之前的所有操作都完成。这可以用来在开始和结束计时前确保所有前面的CUDA操作都完成。
  2. 效率:这种方法一般来说开销较大,因为它会同步整个流,导致所有未完成的CUDA操作都必须等待完成。
  3. 使用场景:适用于需要确保所有CUDA操作完成的场景,但通常不适用于精确的计时测量。
python 复制代码
import torch
import time

# 确保所有之前的操作完成
torch.cuda.current_stream().synchronize()

start_time = time.time()

# 执行一些CUDA操作
# ...

# 再次同步
torch.cuda.current_stream().synchronize()

end_time = time.time()
print(f"Elapsed time: {end_time - start_time} seconds")

torch.cuda.Event(enable_timing=True)

  1. 功能 :通过CUDA事件来进行计时,torch.cuda.Event(enable_timing=True) 创建一个启用了计时的事件,可以用event.record()方法在代码中的特定位置记录时间戳,然后通过计算开始和结束事件之间的时间差来测量操作时间。
  2. 效率:这种方法通常更高效,因为它允许异步记录事件时间,并且只会同步特定的事件,而不是整个流。通常开销较小,适合精确的时间测量。
  3. 使用场景:适用于需要精确测量特定CUDA操作执行时间的场景,例如分析和优化代码性能。
python 复制代码
import torch

start_event = torch.cuda.Event(enable_timing=True)
end_event = torch.cuda.Event(enable_timing=True)

start_event.record()

# 执行一些CUDA操作
# ...

end_event.record()

# 同步并计算时间
torch.cuda.synchronize()
elapsed_time = start_event.elapsed_time(end_event)
print(f"Elapsed time: {elapsed_time} milliseconds")
相关推荐
databook18 小时前
Manim实现脉冲闪烁特效
后端·python·动效
程序设计实验室18 小时前
2025年了,在 Django 之外,Python Web 框架还能怎么选?
python
飞哥数智坊20 小时前
GPT-5-Codex 发布,Codex 正在取代 Claude
人工智能·ai编程
倔强青铜三20 小时前
苦练Python第46天:文件写入与上下文管理器
人工智能·python·面试
虫无涯21 小时前
Dify Agent + AntV 实战:从 0 到 1 打造数据可视化解决方案
人工智能
Dm_dotnet1 天前
公益站Agent Router注册送200刀额度竟然是真的
人工智能
算家计算1 天前
7B参数拿下30个世界第一!Hunyuan-MT-7B本地部署教程:腾讯混元开源业界首个翻译集成模型
人工智能·开源
用户2519162427111 天前
Python之语言特点
python
机器之心1 天前
LLM开源2.0大洗牌:60个出局,39个上桌,AI Coding疯魔,TensorFlow已死
人工智能·openai
刘立军1 天前
使用pyHugeGraph查询HugeGraph图数据
python·graphql