【知识】PyTorch种两种CUDA时间测量的方法对比

转载请注明出处:小锋学长生活大爆炸xfxuezhagn.cn

如果本文帮助到了你,欢迎***点赞、收藏、关注***哦~

在PyTorch中使用CUDA进行时间测量时,以下两者各有优缺点:

  • torch.cuda.current_stream(self._device).synchronize()
  • torch.cuda.Event(enable_timing=True)

torch.cuda.current_stream(self._device).synchronize()

  1. 功能 :torch.cuda.current_stream(self._device).synchronize() 会同步当前设备的CUDA流,确保之前的所有操作都完成。这可以用来在开始和结束计时前确保所有前面的CUDA操作都完成。
  2. 效率:这种方法一般来说开销较大,因为它会同步整个流,导致所有未完成的CUDA操作都必须等待完成。
  3. 使用场景:适用于需要确保所有CUDA操作完成的场景,但通常不适用于精确的计时测量。
python 复制代码
import torch
import time

# 确保所有之前的操作完成
torch.cuda.current_stream().synchronize()

start_time = time.time()

# 执行一些CUDA操作
# ...

# 再次同步
torch.cuda.current_stream().synchronize()

end_time = time.time()
print(f"Elapsed time: {end_time - start_time} seconds")

torch.cuda.Event(enable_timing=True)

  1. 功能 :通过CUDA事件来进行计时,torch.cuda.Event(enable_timing=True) 创建一个启用了计时的事件,可以用event.record()方法在代码中的特定位置记录时间戳,然后通过计算开始和结束事件之间的时间差来测量操作时间。
  2. 效率:这种方法通常更高效,因为它允许异步记录事件时间,并且只会同步特定的事件,而不是整个流。通常开销较小,适合精确的时间测量。
  3. 使用场景:适用于需要精确测量特定CUDA操作执行时间的场景,例如分析和优化代码性能。
python 复制代码
import torch

start_event = torch.cuda.Event(enable_timing=True)
end_event = torch.cuda.Event(enable_timing=True)

start_event.record()

# 执行一些CUDA操作
# ...

end_event.record()

# 同步并计算时间
torch.cuda.synchronize()
elapsed_time = start_event.elapsed_time(end_event)
print(f"Elapsed time: {elapsed_time} milliseconds")
相关推荐
Dmz丶4 小时前
前端转 AI 100 天 Day 45:阶段复盘——从“会调 API”到“做出 AI 产品”
python
XLYcmy5 小时前
基于大语言模型的智能漏洞检测与修复系统 作品报告评审分析报告 下
机器学习·llm·prompt·api·token·漏洞修复·漏洞检测
Sakura_j_h_5 小时前
MCP SDK 2.0 实战:用 MCPServer 搭本地笔记检索服务
开发语言·笔记·python·qt·ai工具·mcp·mcpserver
AllData公司负责人5 小时前
第九篇:AI大模型数据开发底座系列说明书:AllData集成BISHENG开源项目建设大模型应用开发底座,涵盖可视化编排/智能助手/一键API/模型接入!
人工智能·云原生·数据分析·视觉检测·知识图谱·大模型应用·bisheng
数字新视界5 小时前
数据中心DCIM管理系统助力提升机房管理效率与安全性
大数据·人工智能·物联网·信息与通信·动环监控系统
阿里云大数据AI技术5 小时前
阿里云 EMR Serverless StarRocks(Stella)× Paimon:让多模态数据湖从“存得下”走向“找得到、用得上”
人工智能
class心平气和5 小时前
AI 赋能测试流程:从基础概念到测试全流程实战
人工智能
猿人谷5 小时前
遗传编程的未来:从进化搜索到自主发现求解方法
人工智能·深度学习·神经网络·ai-native
QuZhengRong5 小时前
【AI】Agent 全栈进阶|AgentScope 沙箱源码解析
python·学习·ai·agent·沙箱
字节跳动开源5 小时前
OpenViking 3D理解模型上线轴测八视图及PMI解析
人工智能·开源·aigc