pytorch 同步机制

pytorch 同步机制

在 PyTorch 中,当多个算子(operators)和内核(kernels)被并行执行时,PyTorch 通过 CUDA 的 流(streams) 和 事件(events) 机制来管理并发和同步。CUDA 是一个异步计算平台,计算任务会被放入一个队列中异步执行,PyTorch 为了确保不同算子之间的依赖关系正确,使用了流和事件来管理任务的调度和同步。

1. CUDA 流(Streams)和事件(Events)

CUDA 流

CUDA 流是一个任务队列,所有提交到同一个流中的操作会按照顺序执行,但是不同流中的操作可以并行执行。PyTorch 在默认情况下为每个设备(GPU)创建一个主流(default stream),所有的 CUDA 操作都会提交到该流中,并顺序执行。

如果你使用多个流,可以让不同的计算任务并行执行,避免阻塞。PyTorch 提供了 torch.cuda.Stream 来管理自定义的流。例如:

python 复制代码
stream1 = torch.cuda.Stream()
stream2 = torch.cuda.Stream()

# 向stream1提交任务
with torch.cuda.stream(stream1):
    # 操作A将在stream1中执行
    output1 = model(input1)

# 向stream2提交任务
with torch.cuda.stream(stream2):
    # 操作B将在stream2中执行
    output2 = model(input2)

# 等待所有流完成任务
torch.cuda.synchronize()
CUDA 事件

CUDA 事件是用来标记和同步不同 CUDA 流的工具。例如,当一个算子在某个流中完成后,可以通过事件通知其他流,以便他们可以开始下一个依赖该算子的操作。PyTorch 提供了 torch.cuda.Event 进行同步。

python 复制代码
stream1 = torch.cuda.Stream()
stream2 = torch.cuda.Stream()
event = torch.cuda.Event()

with torch.cuda.stream(stream1):
    output1 = model(input1)
    event.record()  # 在stream1中记录事件

with torch.cuda.stream(stream2):
    stream2.wait_event(event)  # 等待stream1中的事件完成
    output2 = model(input2)

torch.cuda.synchronize()

通过这种方式,PyTorch 可以管理不同算子和内核的同步,确保依赖关系被正确处理。

2. 多个算子的调度与同步

在 PyTorch 中,如果你使用单个 GPU 并且不显式创建 CUDA 流,所有的操作都会默认提交到同一个流中按顺序执行,因此不会存在同步问题。

但在更复杂的场景下,比如有多个 GPU,或者需要通过流并行执行不同的操作时,PyTorch 的 CUDA 流机制会自动帮你处理依赖和同步。通过使用流和事件,可以控制多个算子如何在不同的 CUDA 内核中同步执行。

依赖性管理:
  • 默认流同步:如果多个算子提交到默认流中,它们会按照顺序依次执行,无需显式同步。
  • 跨流依赖同步 :使用事件(torch.cuda.Event)来记录某个流的完成状态,其他流可以等待该事件的完成后再继续执行。

例如,在下面的代码中,conv2d 和 relu 是在同一个流上顺序执行的,无需显式同步。但如果将它们放到不同的流中,则需要使用事件同步来确保 conv2d 在 relu 之前完成。

python 复制代码
# 默认流中,算子会顺序执行,无需显式同步
output = F.conv2d(input, weight)
output = F.relu(output)

3. 内存拷贝与计算的同步

在 GPU 计算中,显存和 CPU 内存之间的数据拷贝也是异步执行的。PyTorch 使用 CUDA 同步机制 确保计算和数据传输之间的依赖关系:

  • 当从 GPU 读取数据到 CPU 时,通常会自动触发同步,确保 GPU 计算已经完成。
  • PyTorch 还提供了 torch.cuda.synchronize() 来显式同步 GPU 和 CPU,确保所有的 CUDA 任务都已经完成。

例如:

python 复制代码
output = model(input)
output_cpu = output.cpu()  # 这会自动同步,确保 GPU 计算完成后将结果拷贝到 CPU

4. 多 GPU 和分布式同步

在多 GPU 环境中,PyTorch 使用 NCCL (NVIDIA Collective Communications Library) 来管理多 GPU 之间的同步和通信。PyTorch 的 torch.nn.DataParallel 和 torch.nn.parallel.DistributedDataParallel 会自动处理多 GPU 之间的数据同步。

多 GPU 同步主要依赖 NCCL 库,它允许 GPU 之间通过 all_reduce、all_gather 等通信模式来同步梯度或数据,确保所有设备上的计算是同步的。

python 复制代码
# 使用多个 GPU 同步执行任务
model = torch.nn.DataParallel(model)
output = model(input)  # 会自动将输入拆分到多个 GPU 上执行,并同步结果

Reference:

  1. CUDA Programming Guide - Streams and Events
  2. CUDA Toolkit Documentation
  3. NCCL Documentation
  4. PyTorch GitHub - Distributed and Parallel
  5. NCCL(NVIDIA Collective Communications Library)
相关推荐
黑客笔记8 小时前
python小工具win7翻车事故现场
python
Csvn9 小时前
同一个问题问 100 遍,钱就扣 100 次?精确缓存让它只扣一次(C02)
人工智能·aigc·agent
罗西的思考10 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考10 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习
汤姆宝库10 小时前
BPE分词器的完整实现:字节对合并与词表构建
开发语言·人工智能·c#
岁月宁静10 小时前
从零拆解 AI 语音模拟面试系统
人工智能·python·agent
benchmark_cc10 小时前
个人开发者接入五档盘口:用 QuantDash 读取单只股票的验收清单与易错点
python·数据分析·pandas·量化交易·股票数据·quantdash
武子康11 小时前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
可乐ea11 小时前
MCP 和 CLI 差 42 倍:一次 GitHub 任务的上下文成本实测
人工智能·github·工具调用·ai智能体·openrouter·mcp协议·上下文优化
kyriewen12 小时前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能