目录
[2.1 张量并行（Tensor Parallelism）](#2.1 张量并行（Tensor Parallelism）)
[2.2.1 快速理解](#2.2.1 快速理解)
[2.1.2 细致理解](#2.1.2 细致理解)
[2.2 流水线并行（Pipeline Parallelism）](#2.2 流水线并行（Pipeline Parallelism）)
[2.2.1 快速理解](#2.2.1 快速理解)
[2.2.2 细致理解](#2.2.2 细致理解)
[3.1 单卡显存不足](#3.1 单卡显存不足)
[3.2 高并发请求](#3.2 高并发请求)
前言
近年来，大语言模型（LLM）的规模快速膨胀，参数量级从数十亿（Billion）一路攀升到数千亿（Trillion）。随着模型变大，其推理成本也呈指数式上升，显存占用成为了工程落地中的最大瓶颈之一。对于开发者来说，如何在有限的硬件资源上运行超大规模模型，以及如何高效服务海量并发请求，成为了亟待解决的问题。
分布式推理技术正是应运而生的核心解决方案。它通过将计算任务拆分并分配到多个 GPU 上并行执行，不仅解决了单卡显存不足的问题，还大幅提升了推理速度与服务吞吐量。本文将从核心原理、典型并行方式以及实际应用案例几个角度，带你快速理解大模型分布式推理。
一、什么是分布式推理？
分布式推理（Distributed Inference），顾名思义，就是在多张 GPU 上协同运行一个大模型。单卡无法容纳的参数权重，可以通过切分后放到不同 GPU 上；单卡无法承受的计算压力，可以通过并行分担来解决。
简单来说，它就像是工厂里的流水线：原本一个工人需要独自完成全部工序，现在可以把任务拆开，让多个工人协作完成，从而节省资源、提升效率。
二、两大核心并行方式
并行策略。主要有两种核心并行方式：张量并行（Tensor Parallelism）和流水线并行（Pipeline Parallelism）。这些技术通常结合使用，形成混合并行（Hybrid Parallelism），以适应不同模型和硬件环境。
在分布式推理中，最常见的两种策略是 张量并行（Tensor Parallelism） 和 流水线并行（Pipeline Parallelism）。
2.1 张量并行（Tensor Parallelism）
2.2.1 快速理解
张量并行的思路是：把模型的权重矩阵拆分到多个 GPU 上。
举例来说，一个全连接层的权重矩阵规模可能非常庞大（数十亿参数），单卡无法一次性加载。
通过张量并行，我们可以把矩阵的不同维度分块分配到多张显卡，每个 GPU 负责一部分乘法计算，最后再将结果汇总。
这种方式的优势在于： 能够解决超大权重无法放入单卡显存的问题。
**适用场景：**参数规模极大（如 30B 以上）的模型推理。
2.1.2 细致理解
张量并行是将模型的权重矩阵（Tensor）按维度切分到不同GPU上。举例来说，一个Transformer模型的核心组件------注意力层或全连接层------涉及大规模矩阵乘法。如果矩阵太大，单GPU计算会爆内存。张量并行则像切蛋糕一样，将矩阵行或列分给多个GPU。
- 工作原理 ：
- 每个GPU加载部分权重（例如，总权重W被切分成W1、W2...）。
- 输入数据广播到所有GPU，每个GPU计算自己的部分结果。
- 通过All-Reduce操作（一种集体通信原语）合并结果，确保输出一致。
- 优势：特别适合计算密集型层，能显著加速矩阵运算。但通信开销较大，需要高速互联（如NVLink）支持。
例如，在Llama-13B模型（130亿参数）推理中，单张RTX 3090（24GB显存）可能无法加载完整模型。张量并行可以将模型切分到2-4张卡上，每个卡只需约10-15GB显存，同时推理速度提升1.5-2倍。
2.2 流水线并行（Pipeline Parallelism）
2.2.1 快速理解
流水线并行则更像是装配线：把整个模型的层（layer）拆开，交给不同 GPU 顺序处理。
假设一个 48 层的 Transformer 模型，可以划分成 4 段，每段 12 层，分别放到 4 张显卡上。
输入数据从 GPU1 开始经过前 12 层，然后传递到 GPU2 继续计算......直到最后得到输出。
流水线并行的优势在于： 可以均衡显存负担，避免单卡堆叠所有层。
同时，通过批次交错（micro-batching）还能实现多请求的流水式处理，提高利用率。
2.2.2 细致理解
流水线并行则从模型深度入手，将模型层分成多个阶段，像工厂流水线一样分配给不同GPU。第一个GPU处理前几层，输出传给第二个GPU，以此类推。
- 工作原理 ：
- 模型被分割成管道段（Pipelines），每个GPU负责一段。
- 输入批次（Batch）分微批（Micro-Batch）处理，避免空闲时间。
- 通过点对点通信（如Send/Recv）传递中间激活值。
- 优势：减少了每个GPU的显存需求，适合深度模型。但可能引入气泡（Bubble）问题，即某些GPU在等待时闲置，需要优化调度。
在实践中，这两种并行往往结合：张量并行处理宽层，流水线并行处理深层。框架如Hugging Face的Transformers或DeepSpeed支持这些策略，让开发者轻松实现。
三、案例场景解析
分布式推理不仅是理论上的"显存优化"，更直接服务于真实的落地场景。以下两个典型案例可以帮助你快速理解：
3.1 单卡显存不足
例如 QwQ-32B（参数规模 320 亿），在推理时需要显存超过 50GB，而一张 A6000（48GB 显存）无法单独承载。
解决方案： 通过张量并行把模型拆分到 两张 A6000 上，每张卡只需要承担一半的参数，推理即可顺利运行。
**实际效果：**不仅避免了 OOM（Out of Memory），还保持了较快的推理速度。
3.2 高并发请求
在实际的在线服务中，一个大模型不仅要运行，还要能同时处理大量用户请求。
**问题：**如果采用单请求-单批次推理，GPU 利用率极低，延迟也较高。
解决方案： 分布式推理框架（如 vLLM）采用 连续批处理（Continuous Batching） 技术，将多个用户请求动态合并为批次，利用流水线并行和高效调度，最大化 GPU 吞吐量。
**实际效果：**并发吞吐量显著提升，GPU 资源得到充分利用。
四、总结
随着大模型规模的不断膨胀，单卡推理显然已经难以满足需求。分布式推理通过 张量并行 和 流水线并行 两大核心策略，有效解决了显存不足和并发低效的问题，成为大模型落地过程中不可或缺的技术基石。
在工程实践中：
当模型太大时 ------ 使用张量并行来切分参数；
当并发太高时 ------ 使用流水线并行和连续批处理来提升吞吐。
未来，随着硬件和软件栈的不断优化，分布式推理将进一步降低门槛，让更多开发者能够以更低成本部署大规模模型，推动 AI 应用走向普及。