ASTRA-sim 3.0：通过高保真GPU和基础设施建模进行下一级分布式机器学习模拟

摘要

分布式机器学习（ML）是当今大规模人工智能应用的关键范式。随着模型推理成为一个重要的用例，延迟敏感的集体通信的忠实建模从未如此重要。因此，在今天，以高保真度捕获设备架构和建模控制和数据路径是必要的。为分布式ML基础设施提供一个共同的、详细的表示也至关重要。我们重温了有前途的开源、社区驱动的模拟器：ASTRA-sim。在这项工作中，我们确定了当前ASTRA-sim模拟器的局限性，并用新功能增强了它。为此，我们通过标准化的基础设施表示实现精细、高保真模拟，开辟了新的设计空间探索机会。我们建议以缓存线大小的加载存储粒度进行模拟，并具有详细的图形处理单元（GPU）执行模型，以平衡模拟的可扩展性和保真度。我们还介绍了InfraGraph，这是一个标准化的表示，用于详细捕获分布式ML网络基础设施。使用更新的ASTRA-sim 3.0模拟器，我们展示了有趣的设计空间探索，用于设计优化的集体算法、网络要求和GPU架构。

1.介绍

今天，基础人工智能（AI）模型的重要性无需强调。生成性人工智能模型，包括大型语言模型（LLM），已被许多领域采用，并且一直在以前所未有的速度扩展。在训练方面，前沿模型的计算要求一直在增加4-5×平均每年（时代人工智能，），LLM包含数万亿个参数（Fedus等人，2022年；DeepSeek-AI，2026年）。推理超过了已经庞大的训练需求，甚至在整个模型生命周期中占用了80-90%的能源使用和成本（Caravaca等人，2025年；帕特尔，2022年）。为了适应这种规模，有必要使用分布式机器学习（ML）；最先进的数据中心包含数十万到数十万的图形处理单元（GPU）（xAI，；Yee Jiun Song和Kaushik Veeraraghavan，2025年；OpenAI，2026）。

大规模分布式机器学习需要大量的资源------不仅要训练模型，还要满足不断增长的推理需求（O'Donnell和Crownhart，；Chen等人，2025a）。考虑到这些需求，优化分布式机器学习的性能和成本至关重要。然而，分布式ML的共同设计空间庞大而复杂（Won等人，2023年）。它包括多个设计堆栈------人工智能模型、并行化策略、GPU架构和GPU之间的通信------以及它们之间的相互作用（Rashidi等人，2020b）。驾驭这个交织在一起的设计空间需要系统和有条不紊的方法。因此，实施一个基础设施来捕获分布式ML的全栈设计空间仍然是关键的研究。

我们重新审视一个现有的解决方案：ASTRA-sim（Rashidi等人，2020b；Won等人，2023年）。这是一个事件驱动的全栈分布式ML模拟器。我们以ASTRA-sim为目标，因为它是一个开源的、社区驱动的努力，并且已被该领域的多个工作所采用（Cho等人，2024年；Cho等人，2026年；曼等人，2025年；Yoo等人，2024年；Yoo等人，2025年）。ASTRA-sim 1.0首次引入了这种模拟基础设施，但仅支持一组有限的训练工作负载和网络拓扑（Rashidi等人，2020b）。ASTRA-sim 2.0，后续更新，识别了此类问题并改进了模拟器（Won等人，2023年）。值得注意的是，ASTRA-sim 2.0结合了基于图形的工作负载表示（Sridharan等人，2023年）并扩展了网络拓扑的范围。尽管灵活性更高，但考虑到当今与分布式机器学习相关的挑战，ASTRA-sim 2.0仍然存在当时被忽视的局限性。在这项工作中，我们旨在进一步识别此类限制，并在ASTRA-sim框架中实现新功能。为此，我们的目标是以更高的准确性捕捉更广泛的设计空间。

首先，我们指出了ASTRA-sim集体通信建模能力的局限性。对于培训和推理工作，集体沟通是主导操作（王等人，2025a；陈等人，2025b），产生了多种快节奏的研究工作。它们分布在新的集体算法设计中（Cho等人，2023年；Laskar等人，2024年；马等人，2021年）和自动化的集体算法合成（赵等人，2026年；Won等人，2024年；王等人，2019年；Shah等人，2023年；蔡等人，2021年；黄等人，2021年；Kim等人，2024年；刘等人，2024年），列出几个。然而，ASTRA-sim仅支持一组有限的预定义的教科书集体算法：环（Thakur等人，2005年），全对（即直接）（Rashidi等人，2020b），双二叉树（Jeaugey，2019年），以及递归减半加倍（Thakur等人，2005年）。尽管集体交流处于关键的道路上，但如果没有手动实施，ASTRA-sim就无法捕捉到最新的研究努力。

图1。ASTRA-sim 3.0基础设施概述。新的和改进的组件用粗体红色边框标记。

其次，ASTRA-sim缺乏设备建模。它完全忽视了控制路径和资源争用。捕捉这种效果在今天尤为关键，因为推理任务变得与培训执行一样重要，如果不是更重要的话。推理作业对延迟敏感（Zhao和Georgantas，2025年），使准确的延迟建模变得至关重要。这需要对精细的建筑细节进行忠实的建模。例如，假设GPU想要将一块数据写入远程GPU。这实际上包括多个步骤：（i）计算单元1（CU）加载缓存行大小（例如，128 B（AMD，；英伟达，））从本地高带宽存储器（HBM）到其寄存器文件的数据（ii）CU然后将数据写入套接字的输入/输出（I/O）端口）（iii）网络将缓存线大小的数据传输到远程GPU的I/O端口（iv）远程GPU将接收到的数据写入目标HBM。这些步骤以缓存行粒度重复，直到所有数据块都写入目标。然而，当前的ASTRA-sim将此模拟为单个网络传输，阻止了准确的延迟估计。其他重要的缺失控制路径建模，包括内存围栏、GPU内障碍和GPU间信号灯，加剧了这个问题。多个GPU内核争夺有限的CU资源，也影响了延迟。必须捕获所有此类效果，以便进行正确的延迟建模。

为了正确模拟这种精细的操作，网络模型应该支持片上网络（NoC）级别的详细信息。然而，目前的ASTRA-sim基础设施只假设粗粒度的GPU间通信。它忽略了片上传输，例如来自本地HBM通道的CU加载缓存线大小的数据。网络模拟后端也应升级，以支持GPU插槽架构细节的建模。

最后，社区需要分布式ML网络基础设施的通用、详细的表示。目前，不同的网络模拟后端都需要独特的输入格式。由于不同的模拟器在不同级别以不同的细节捕获基础设施，这种碎片化不仅阻碍了准确的基础设施建模，而且还禁止社区交换他们的基础设施细节。

在这项工作中，我们介绍了ASTRA-sim 3.0：通过高保真建模将分布式ML模拟提升到一个新的水平。图1总结了改进的ASTRA-sim 3.0模拟基础设施。ASTRA-sim 3.0实现了新功能，以消除限制，并忠实地对当今分布式机器学习系统进行建模。ASTRA-sim 3.0通过MSCCL++表示支持任意定制的集体算法（Shah等人，2025年）。ASTRA-sim 3.0故意以Load-Store粒度表示工作负载，在保持可扩展性的同时捕获精细的细节。一个新的GPU模型通过CU、工作组和波前级建模以缓存线大小的粒度模拟它们，就像真正的GPU一样。最后，我们构建了InfraGraph，这是一个基于图形的后端不可知物理系统的表示。用户可以在ASTRA-sim 3.0中跨网络后端交换和重复使用单个InfraGraph描述。

2.背景

2.1.阿斯特拉-模拟

ASTRA-sim（Rashidi等人，2020b；Won等人，2023年）是一个开源分布式ML模拟器。图1总结了高级架构。它由三个构建层组成：工作负载、系统和网络。工作负载层捕获目标模型的设计空间及其并行化，而网络层则模拟网络传输。系统层介于两层之间，例如，估计计算内核运行时间或使用预定义的集体算法将集体通信内核分解为块粒度传输。

ASTRA-sim 1.0是入门版本，但在所有三个层都缺乏灵活性（Rashidi等人，2020b）。它仅支持一组预定义的训练工作负载、集体算法和网络拓扑（特别是二维交换机和环形）通过Garnet，Garnet是一个最初在gem5中开发的网络模型（Lowe-Power等人，2020年）。后来，引入了一个用于插入任意网络模拟器的应用程序编程接口（API），以及ns-3（亨德森等人，2008年）被纳入另一个模拟后端（Rashidi等人，2020a）。ASTRA-sim 2.0解决了一些灵活性限制（Won等人，2023年）。对于工作负载层，ASTRA-sim 2.0利用MLCommons Chakra执行跟踪（ET）（Sridharan等人，2023年）支持任意工作负载。对于网络层，ASTRA-sim 2.0引入了一个新的α--β-基于模型（霍克尼，1994年）简单的网络模拟器。2

2.2。图形处理单元

我们简要介绍了GPU的背景，GPU是分布式ML中占主导地位的计算设备（谷歌云，；John等人，2024年）。

2.2.1.编程模型

内核是在GPU上执行的函数，由许多线程组成。每个线程执行相同的指令，但使用不同的数据，使GPU遵循单指令、多数据（SIMD）范式。内核中的线程被组织成工作组（即线程块），线程的组成（例如，1,024个线程）。工作组中的所有线程都映射并在一个CU（即流式多处理器（SM））上执行。在工作组中，线程被进一步分组为一个称为波前线（即翘曲）的较小单元，即CU中的锁步执行单元（例如，32个线程）。图2描绘了一个GPU内核，它有四个工作组，每个工作组都包含两个波前。

2.2.2.图形处理器架构

GPU硬件由许多CU组成，用于并行执行多个工作组。当内核被发送到GPU时，每个工作组都会映射到CU上。然后，CU以锁步式在波前执行线程。图2显示，内核中的四个工作组由四个CU并行执行。

图2。GPU程序和架构的抽象视图。

2.3.集体交流

模型和/或数据分散在分布式ML中的许多设备上，需要设备经常同步以执行整个工作负载。此类通信以消息传递接口（MPI）中定义的集体通信模式的形式进行（消息传递界面论坛，2025年）。

集体算法定义了单个数据块如何通过网络拓扑传输以执行集体模式。教科书的集体算法是定义明确的基本集体算法，在当今的集体通信库（CCL）中普遍使用。戒指（Thakur等人，2005年），全对（即直接）（Rashidi等人，2020b），双二叉树（Jeaugey，2019年），以及递归减半加倍（Thakur等人，2005年）是当今CCL使用的预定义教科书集体算法的示例。

2.4.MSCCL++自定义集体表示

随着集体通信成为分布式机器学习的重要组成部分，许多研究工作已经投入到该领域；其中包括集体算法的表示。值得注意的是，MSCCLang引入了一种特定领域的语言（DSL）来表示任意的集体通信算法（Cowan等人，2023年）。定制的集体算法可以用基于Python的DSL编写。后来，MSCCL++被引入，以推广DSL，并表示一套更灵活的集体算法（Shah等人，2025年）。例如，MSCCL++支持使用单边put/get操作，允许一个工作组同时与多个远程GPU对话，并通过障碍和信号灯捕获控制依赖项。MSCCL++将DSL编译为自定义JavaScript对象符号（JSON）文件，捕获单个GPU的工作组级操作。图3捕获了JSON文件的简化视图，该文件代表两个GPU的集体操作。每个GPU由两个工作组组成，每个工作组有三个GPU操作。

图3。MSCCL++ JSON集体算法表示的简化示例。

3.动机

在这里，我们确定了当前ASTRA-sim的局限性。我们讨论了为什么拥有这样的建模能力对于解决当今分布式机器学习挑战很重要。

3.1.定制的集体算法

目前的ASTRA-sim基础设施完全缺乏定制的集体算法建模能力。正如第1节所讨论的，集体通信已成为分布式ML的主要瓶颈。对于训练任务，集体规模通常很大，目标是优化吞吐量，而推理通信规模较小，延迟敏感。这种不同的性质为集体优化产生了不同的方法和技术。为了列出一些，即使是教科书集体算法，专家也会微调工作组的数量、单个块的大小、通信协议或通信原语（例如，双向与单向传输）。集体算法合成器自动生成拓扑感知集体算法。随着系统规模的扩大，容错集体算法设计也成为一个重要的研究角度。最终，MSCCL++表示的存在和采用本身凸显了执行定制集体算法的必要性。

然而，ASTRA-sim基础设施仅支持一组有限的预定义教科书集体算法，设计参数非常有限（例如，每个内核的块数量）。如果没有广泛的手动实现，ASTRA-sim无法模拟当今快速变化的集体。

3.2.精细图形处理器建模

图4。使用不同的链路延迟和带宽，对LL与简单传输带宽进行分析。

现有的ASTRA-sim基础设施无法捕获精细的设备建模。随着人工智能工作负载的大规模采用，社区正在从培训转向机器学习推理。由于推理工作负载对延迟高度敏感，正确的延迟建模是必不可少的。

忠实的延迟建模需要对设备的数据和控制路径进行高保真建模。如第1节所述，即使是简单的网络放置操作实际上也涉及多个重复步骤，以缓存线粒度工作：（i）在确保目标缓冲区准备就绪后，（ii）CU将缓存线大小的数据读取到注册文件，以及（iii）启动读取值的网络传输；然后（iv）远程GPU将接收的数据存储到目标。然而，这些精细的操作都没有在ASTRA-sim中建模。更不用说来自不同通信和计算内核的多个工作组争夺有限的CU和内存资源，进一步影响了整体延迟。

图4是为什么需要如此准确的延迟建模的定量动机。当今使用的大多数CCL提供两种通信协议：低延迟（LL）和简单。简单协议可以有效利用100%的网络带宽，但传输前后的同步权衡。LL协议消除了延迟优化的同步，并权衡了50%的链路带宽。从直觉上看，LL更适合小额转账，随着转账规模的增加，Simple开始表现优于小。使用分析α--β使用任意延迟和带宽值进行建模，我们绘制了具有不同传输大小的两个协议的传输带宽。当我们低估传输延迟时（为0.5μs），简单协议开始以更快的速度超越LL。对于256 GiB/s的链路带宽，Simple协议在512 KiB的传输大小上优于LL。然而，如果我们高估了链接延迟（如5μs），简单协议的性能在更大的传输大小下饱和；它仅在2 MiB的传输大小上优于LL协议。随着链路带宽增加到1 TiB/s，差距更大：4 MiB与16 MiB。这种简单的分析分析强调，不当的延迟建模会导致错误的设计结论，随着网络性能的提高，这变得尤为重要。因此，通过精细GPU建模进行高保真延迟建模是模拟基础设施所必需的。

3.3.共同基础设施表示

为了适应不同的用例（例如，保真度与可扩展性），ASTRA-sim通过通用网络API扩展到多个网络模拟后端。然而，用户应以特定于目标网络后端的格式定义物理系统拓扑。示例包括路由配置、消息持续时间或是否在给定点对拥塞进行建模。通过我们使用ASTRA-sim的经验，我们发现缺乏全局表示格式是有问题的。

首先，任何物理系统描述都与特定的网络后端绑定。这种分散的方法迫使用户跨网络后端手动重写基础设施描述，更不用说理解格式语义的时间了，这不直观，需要每个后端的知识。其次，它阻碍了社区分享和交换确切的基础设施细节。现有的研究通常用高级措辞来描述物理系统，如"两层脂肪树拓扑结构"或通过简单的数字。然而，这可能不一定捕捉到拓扑的全部细节，在翻译成ASTRA-sim后端可以理解的描述时，它变得模糊不清。如果社区有一个共同的、标准化的手段以中立的格式表示他们的物理拓扑信息，它可以促进社区共享基础设施详细信息和复制模拟结果。我们设想了在标准化基础设施表示方面超越ASTRA-sim的潜力。

简而言之，上述动机是一种后端不可知格式，可以表示任意物理系统拓扑结构。我们激发了对单一格式的需求，一旦定义，不仅能捕捉到网络基础设施的精细细节，而且可以在整个研究社区轻松共享。这种表示可以自动转换为ASTRA-sim的后端特定格式。

4.ASTRA-sim 3.0

在这里，我们解释了ASTRA-sim 3.0添加的新功能。我们还详细阐述了它们的实施情况。

4.1.精细的工作量表示

图5。在ASTRA-sim 3.0中，GPU内核的抽象视图被分解为精细的Load-Store粒度。

我们建议在Load-Store粒度下对GPU设备进行建模。分布式机器学习的关键操作是片上和GPU间网络的控制和数据路径。它们可以通过捕获精细的Load-Store指令来有效地建模。以最精细的粒度模拟精确的GPU二进制文件包含不必要的详细信息，并损害模拟可扩展性。

图5显示了在ASTRA-sim 3.0中分解的GPU内核的高级概述。它以GPU编程模型的方式捕获执行：一个工作组由多个波前组成，每个波前按顺序运行多个GPU操作，其中每个GPU操作本身最终是Load-Store原语的序列。下面，我们以自下而上的方法阐述了ASTRA-sim 3.0中的精细工作负载表示。

4.1.1.GPU指令

正如我们所提议的，我们在Load-Store粒度下定义了原始GPU指令。这些GPU指令成为ASTRA-sim 3.0中的模拟单位。GPU指令可以分为三类：（i）数据指令，（ii）控制指令，以及（iii）其他指令。对于这些Load-Store，源或目标内存位置可以位于本地或远程。

数据说明。它们表示CU和内存之间的数据移动，定义如下：

• 加载：CU将数据块从内存加载到寄存器文件中。
• 存储：CU将寄存器文件中的一块数据存储到内存中。

控制说明。这些说明还创建了负载和存储请求。然而，我们将这些与数据操作区分开来，以强调它们作为控制路径指令的性质。它们如下所示：

• SemaphoreAcquire：CU加载一个semaphore值，并检查它是否由另一个CU释放。
• SemaphoreRelease：CU存储一个Semaphore值，以标记它已释放并可以被另一个CU获取。

其他说明。最后，我们又添加了两个原始指令，如下图所示，以捕获非内存执行。

• 减少：抽象CU中发生的所有其他算术或逻辑运算。
• Waitcnt：让CU处于等待，直到飞行中负载和存储的数量下降到特定阈值，以控制波前内存依赖性。

4.1.2。GPU操作

虽然这些原始的Load-Store指令捕获了GPU的精细行为，但它们太精细了，无法捕获程序员利用的逻辑操作。为了缩小这一差距，我们引入了GPU操作。GPU操作是一系列原始GPU指令，它表示一个有意义的功能编程单元。示例包括从一系列内存地址加载数据或同步工作组内的所有线程。

在这项工作的范围内，ASTRA-sim 3.0实现了几个与数据和控制相关的GPU操作。然而，任何新的GPU操作都可以轻松实现，因为它只是多个Load-Store GPU指令的序列。

数据操作。这些操作用于加载和存储一系列数据。我们预先定义了以下三个数据操作：

• LoadOp：Load指令的包装器。将一系列数据从内存加载到CU。
• StoreOp：Store 指令的包装。存储从CU到内存的一系列数据。
• MemcpyOp：表示内存到内存的复制操作。数据首先通过Load指令加载到CU，然后是Waitcnt指令来强制执行内存围栏。最后，Store指令将加载的数据从CU写入目标内存空间。

控制操作。这两个控制操作包裹了semaphore指令，如下所示：

• SemaphoreAcquireOp：发布SemaphoreAcquire指令来获取semaphore。
• SemaphoreReleaseOp：发布SemaphoreRelease指令来释放Semaphore。

其他操作。我们定义ReduceOp来包装Reduce指令，以捕获所有非内存算术和逻辑运算。有趣的是，我们注意到，没有GPU指令的调度本身可能是一个有意义的操作。一个例子是停止执行的操作，直到满足特定条件。我们为GPU执行控制定义了两种这样的操作，没有任何内存指令。

• ReduceOp：Reduce指令的包装器。表示所有没有内存运算的算术和逻辑运算。
• NopOp：此操作会停止工作组的执行，直到其所有波前到达此操作（即__同步线程操作）。
• BarrierOp：当NopOp强制执行波前工作组内同步时，BarrierOp强制执行工作组间同步。

4.1.3.工作组和Wavefront

现在我们已经定义了GPU可以执行的逻辑执行操作，定义工作组和波前线很简单。工作组只是一系列GPU操作，在单个CU上执行。工作组由多个波前组成，这是CU中锁步执行的一个单元。对于数据操作，所有波前执行Load andStore指令，模拟每个波前处理不同范围的内存地址。另一方面，对于控制路径操作，我们只实现波前零来发布加载和存储指令，假设控制消息（即读取信号器值）是单个缓存行大小。

4.1.4.内核

最后，内核是一组工作组。当内核被发送到GPU时，每个工作组都映射到一个单独的CU并行执行。

综上所述，如图5所示，（i）GPU指令是原始的Load-Store指令，（ii）GPU操作是GPU指令的序列，表示一个具有逻辑意义的执行单元，（iii）工作组由多个GPU操作组成，按多个波前组织，（iv）内核是一组在多个CU上并行运行的工作组。

4.2.MSCCL++定制集体支持

现在，ASTRA-sim 3.0以精细的表示形式表示工作负载，这很容易能够模拟利用MSCCL++表示的自定义集体算法。如第2.4节所述，MSCCL++ JSON表示捕获了每个GPU、每个工作组操作（如put或copy）中的任意集体算法。因此，我们简单地实现一个直截了当的转换器来表示ASTRA-sim 3.0 GPU操作中的MSCCL++操作。例如，MSCCL++ put操作（将数据块从本地GPU写入远程GPU）被翻译成MemcpyOp。同样适用于获取和复制操作。MSCCL++ GPU间控制操作、信号和等待分别被解析为SemaphoreReleaseOp和SemaphoreAcquireOp操作中。

4.3.端到端工作负载执行

图6。通过ASTRA-sim 3.0进行端到端工作负载模拟流程。

ASTRA-sim 3.0通过MLCommons Chakra ET采用继承了ASTRA-sim 2.0的端到端工作负载模拟。如图6所示，Chakra ET以内核粒度捕获工作负载：跟踪是计算和通信内核的组合以及它们之间的依赖关系。ASTRA-sim 2.0通过解析Chakra ET发送粗粒事件。相反，ASTRA-sim 3.0实现解析器，将此类内核分解为精细的工作负载表示。对于通信内核，我们利用第4.2节中讨论的MSCCL++解析器。同样，计算内核可以分解为多个工作组，每个工作组执行ReduceOp操作。ASTRA-sim 2.0使用非常基本的硬件模型来模拟资源争用，例如一次发送一个内核。然而，在ASTRA-sim 3.0中，所有内核都被分解为通用的、精细的表示，并由单个模型模拟。因此，多个计算或通信内核之间的资源争用自然地被捕获，没有这种任意的限制。

4.4.图形处理器模型

到目前为止，我们已经讨论了ASTRA-sim 3.0如何以精细的Load-Store指令表示来表示目标工作负载。ASTRA-sim 3.0实现了一个新的执行模型，以详细模拟这种精细的表示，以捕捉实际的程序执行。下面，我们以自上而下的方法解释这个执行模型。

4.4.1.图形处理器模型

顾名思义，GPU模型抽象了一个物理GPU，由多个CU组成。ASTRA-sim 3.0模拟从将内核（在精细表示中解析）发送到GPU模型开始。GPU模型在工作组上迭代，并以循环顺序将每个工作组映射到（自由）CU，从而对CU资源冲突进行建模。用户可以调整每个CU可以容纳的工作组数量。

4.4.2。计算单元

当工作组被派往 CU 时，它会执行工作组的波前线。CU选择一个准备好的波前（即不停滞），并按顺序执行GPU操作。在执行过程中，如果波前因控制路径操作而停滞，CU将执行另一个准备好的波前，模拟波前级并行性。如果波前线的所有GPU操作都已完成，则波前线被标记为已完成。当工作组的所有波前都完成时，工作组将标记为已完成并退出。

以下项目解释了非基于内存的GPU操作如何在CU中执行：

• NopOp：如第4.1.2节所述，此操作没有任何GPU指令。相反，在执行此操作时，CU只是将波前置于停滞状态，并检查工作组中的所有其他波前是否也停滞。如果是这样，NopOp就完成了，所有波前都被标记为准备执行下一个操作。
• BarrierOp：执行遵循与NopOp相同的逻辑，但强制执行工作组间同步，而不是工作组内同步。
• ReduceOp：占用CU进行一定数量的模拟周期，以模仿算术/逻辑运算，然后退出操作。

其他GPU操作包括加载或存储指令。例如，LoadOp需要Load指令从内存中加载值。同样，SemaphoreAcquireOp包裹SemaphoreAcquire指令，该指令发送aLoad指令来检查semaphore值。在执行这些操作时，CU在每个周期中将缓存线大小的网络请求（即Wavefront请求）注入网络模拟器。

4.4.3.Wavefront 请求

Wavefront请求是CU发送到网络的单个缓存行大小（例如128 B）传输。在ASTRA-sim 3.0中，Wavefront请求是网络后端模拟的单元传输。网络层接收这些Wavefront请求，并模拟本地（片上）和远程（扩展和扩展）网络流量。当CU执行波前线的GPU操作时，它会根据操作生成多个波前线请求。

• SemaphoreAcquireOp和SemaphoreReleaseOp：获得和释放semaphore需要分别读取和写入semaphore值。由于我们假设每个semaphore都适合在单个缓存行中，执行这些操作会从wavefront zero生成一个Wavefront请求。
• LoadOp、StoreOp和MemcpyOp：它们生成多个Wavefront请求来读取或写入内存跨度。

4.4.4.循环展开

图7。MemcpyOp操作展开四次。

当CU执行波前时，它可以在每个周期中发送一个缓存行大小的Wavefront请求。GPU可以通过同时发送多个飞行内存请求来促进波前内、指令级并行化。在ASTRA-sim 3.0中，我们通过可调环展开来实现这一点。图7说明了aMemcpyOp操作的展开。MemcpyOp要求重复（i）加载缓存行大小的数据，（ii）确保数据已由Waitcnt指令加载，然后（iii）将数据存储到目的地。图7没有重复每个缓存行的三个原始指令，而是将其展开四倍。展开可以实现重叠的四个负载波前请求，捕获波内平行性。

4.5.详细的简单网络建模

凭借新的自定义集体和GPU建模功能，ASTRA-sim 3.0配备了详细、精细的模拟机会，具有NoC级请求和缓存线大小的传输。为了更好地适应这个机会，我们从ASTRA-sim 2.0升级了简单网络模拟后端，以模拟NoC级细节以及GPU间网络。请注意，ASTRA-sim 3.0仍然支持其他网络模拟后端，并通过网络API使用详细的NoC模型。

高层次的洞察力如图8所示。图8（a）所示的旧简单网络模型使用每个GPU作为构建块。网络表示仅限于简单的GPU连接，并通过粗粒传输进行模拟。更新的简单网络如图8（b）所示。现在，目标网络拓扑用NoC级细节表示，如CU、HBM通道和I/O端口。当ASTRA-sim 3.0基础设施的GPU模型发送精细的Wavefront请求时，带有NoC级表示的更新的Simple能够模拟本地和远程操作。内存通道被添加到Simple中，以对NoC和内存流量进行建模。Simple的网络表示使用基于文件的分层表示和模块化路由函数，以实现网络拓扑或路由的可扩展性和快速交换。

图8。更新了简单网络模拟后端。

4.6。基础设施作为图表

我们展示了InfraGraph，这是一个用于人工智能和高性能计算（HPC）网络基础设施的标准便携式表示。InfraGraph将基础设施拓扑形式化为定向、归因图，其中顶点代表GPU、网络接口控制器（NIC）和存储等硬件，而边缘表示硬件组件之间的连接。带宽等属性注释增强了图形的表达能力。这种表示是基于复杂的基础设施拓扑结构可以通过图形结构自然表达的原则。

用户通过描述可重复使用的基础设施对象和拓扑关系来定义图形，并以编程方式将它们扩展为完整的图形表示。重复使用组件允许紧凑的描述以表达方式代表完全扩展的图形，而程序化图形构建可以实现自动工作流程。

4.6.1.设备描述

我们首先定义用于描述设备的原语：

• 组件：设备中的硬件单元，如CPU、GPU或外围组件互连快速（PCIe）网桥。
• 链接：具有带宽或延迟等物理属性的命名连接容器。

4.6.2.InfraGraph图形构造

InfraGraph的核心设计原则是通过重复使用模块化定义来使定义紧凑。用户描述可重复使用的基础设施对象，这些对象可以通过编程扩展到完整的图形，而不是手动定义大型人工智能集群中的每个端点和互连。例如，在跨多个主机服务器的横向扩展拓扑中，单个主机可以表示为设备，其中CPU、GPU或PCIe网桥等硬件组件表示为顶点，PCIe边缘表示为边缘。用户可以选择以编程方式构建它们，而不是多次为所有主机列出组件和边缘。以下原语可以实现大型建筑：

• 设备：设备硬件的子图模板，包含组件和边缘。
• 实例：设备实例化别名。
• 基础设施：顶级图形容器。
• Device.Edge：由两个设备端点和一个连接链接定义的基础设施图的边缘。

4.6.3.蓝图

我们还为常见的硬件平台和网络结构提供预建的、可组合的模板。设备蓝图定义了单个平台的内部硬件结构------组件、链接和设备内边缘------并作为可重复使用的构建块。结构蓝图将设备实例组成完整的网络拓扑结构。这些蓝图是参数化的（例如，主机的数量）并自动实例化。例如，SingleTierFabric结构蓝图为小规模部署实现了平面单开关层拓扑，而ClosFatTreeFabric则生成了一个由交换机端口计数和网络深度参数化的可扩展分层拓扑，根据标准CLOS结构自动计算交换机计数并布线所有链路。

图9。使用InfraGraph蓝图和可视化器生成和可视化的Clos织物。

4.7。InfraGraph工具链

4.7.1.翻译

我们构建了一个翻译器，该翻译器将InfraGraph描述自动翻译成ASTRA-sim中每个网络后端都可以理解的物理系统描述。翻译器有三个用于ASTRA-sim的公开网络后端的后端翻译器：Simple、ns-3和HTSim。每个后端转换器都会从注释图形中自动导出所需的参数。HTSim翻译器从拓扑中推断出脂肪树结构参数；ns-3将标识符分配给GPU等级、网卡和交换机，并从边缘注释中读取每个链路属性；简单翻译器还检测拓扑模式，将大节点计数分解为多维组，用于集体通信建模。在所有情况下，相同的InfraGraph描述在所有后端上产生有效的配置，从而在相同的基础设施假设下实现直接的跨后端比较。

4.7.2。可视化

可视化器接收InfraGraph，并自动生成网络连接图。这允许用户查看他们定义的网络图是否是他们真正想要的。

4.7.3.完全合格的图形和InfraGraph服务

InfraGraph将拓扑描述扩展为由基础设施节点和边缘组成的完全限定图。每个设备、组件、端口和链路都使用唯一的分层标识符表示，从而实现跨大规模AI和HPC基础设施的准确拓扑表示、通信路径发现、图遍历、连接分析和拓扑感知模拟。基础设施节点代表基础设施图中的基本实体，对应于系统拓扑中的特定端点。节点遵循命名惯例：<device-instance>.<index>.<component>.<index>。这种分层命名结构可以精确识别大规模异构系统中的组件。基础设施边缘代表两个基础设施节点之间的通信关系。边缘定义了图形中的连接性，并模拟了组件之间的通信链接。交换机边缘表示的示例是：（switch.0.asic.0，switch.0.port.0，pcie），它表示为源节点、目标节点和连接两个节点的链路。

图10。模拟基于get和put的Reduce-Scatter的集体性能，使用32个GPU。

5.案例研究

在本节中，我们运行了各种案例研究，以展示ASTRA-sim 3.0如何实现以前模拟器无法捕捉的新设计空间探索机会。我们想强调的是，本节旨在展示ASTRA-sim 3.0模拟基础设施的各种用例和适用性，不一定展示特定产品或基础设施的定量优化措施。因此，我们评估了具有二元配置值的通用GPU架构。

图11。模拟基于获取和放置的全集的集体带宽，使用16个GPU，在控制和数据消息之间进行和不进行仲裁。

5.1。目标GPU架构

对于精细的GPU建模案例研究，我们实现了通用的GPU架构。我们用32个路由器模拟了一个二维网格NoC（8×4）具有1 TiB/s片上链路，每个链路都配备四个CU（即每个GPU总共128个CU）。顶部和底部的NoC路由器也连接到16个内存通道，提供4 TiB/s的累积内存带宽。同样，最左边和最右边的NoC路由器各配备了四个I/O端口，驱动1 TiB/s的累积扩展带宽μ每个GPU的链路延迟。总体而言，每个GPU被建模为448个端点的集合。

5.2.集体算法设计

我们首先展示了ASTRA-sim 3.0如何通过精细、忠实的控制路径建模，实现集体算法设计的新建模领域，并帮助网络设计师优化目标系统。与不支持自定义集体算法的现有基础设施不同，ASTRA-sim 3.0可以比较使用get与put进行数据传输，这意味着不同的同步要求。

我们评估了基于获取和放置的减少散射算法在32个GPU集群上的带宽，每个GPU有32个工作组。模拟的集体带宽（即缓冲区大小除以集体时间）如图10所示。结果表明，对于大型集体来说，基于get的Reduce-Satter优于基于put的Reduce-Scatter。

建模见解。对于put操作，发送者必须在传输完成后通知接收者（即SemaphoreReleaseOp应在远程存储之后跟进）。这会产生不必要的控制流量，并阻碍了数据传输和减少计算的重叠，因为接收器必须在ReduceOp之前运行SemaphoreAcquireOp。然而，获取操作消除了同步。一旦启动器通过远程加载接收数据，该GPU就可以立即开始减少。这允许在缓存线粒度上进行计算-通信重叠。

我们还比较了All-Gather的get-based集体算法与put的集体算法，使用16个GPU，每个GPU有60个工作组。图11捕获了结果。值得注意的是，基于get的集体不如基于put的集体。

建模见解。与Reduce-Scatter不同，All-Gather没有减少操作，消除了get操作的好处。相反，随着缓冲区大小变大，控制消息（即向远程GPU发送数据的请求）被数据响应阻止。另一方面，放置操作首先将数据推送到网络，响应（即远程存储后的确认消息）即使被阻止，也会对性能产生微乎其微的影响。通过使用控制和数据消息的公平仲裁，我们最大限度地减少了性能差距。

不同的集体算法，即使使用get versus put等小算法，对性能和网络设计要求和配置都有重大影响和意义。它们说明了拥有ASTRA-sim 3.0实现的精细控制路径建模的必要性。

5.3.GPU架构探索

图12。使用16个GPU模拟不同循环展开系数的全对全性能。

ASTRA-sim 3.0精细建模也适用于GPU架构设计，并启用了新的设计空间探索功能。例如，ASTRA-sim 3.0可用于建模和确定所需的波前内、指令级并行程度，以优化集体性能。图12使用16个GPU，每个GPU60个工作组来衡量All-to-all性能。

建模见解。结果表明，增加指令级并行性，使每个CU能够发送多个并发Wavefront请求，有利于改善带宽约束集体。值得注意的是，（i）在达到每个CU一次可以发送的最大Wavefront请求数量后，收益饱和，（ii）指令级并行性不是与延迟约束的小规模集体相关的优化。

图13。模拟全聚带宽，32个GPU，每个CU的最大未决Wavefront请求限制数量不同。

我们还评估了每个CU可以发送的最大Wavefront请求数量如何影响集体带宽。图13总结了32个GPU，每个CU62个工作组的All-Gather性能。

建模见解。此配置是寄存器文件大小的代理，因为它是CU可以同时处理多少个缓存行大小的请求的决定因素。与循环展开观察类似，（i）寄存器文件大小对控制路径主导的、延迟约束的集体没有有意义的影响，（ii）在达到特定的寄存器文件大小后，收益会迅速饱和。

这些示例突出了拥有精细的Load-Store级架构建模的有效性，该建模能够实现新的架构探索。

5.4.精细模拟可扩展性

图14。在建模2--128个GPU时，1-256 MiB输出缓冲区大小的All-Gather的挂钟模拟时间。

我们还通过更新的Simple网络的NoC级模拟分析了精细、缓存线大小的Load-Store建模的可扩展性。具体来说，我们测量了每个GPU与32个工作组的All-Gather集体通信的挂钟模拟时间，输出缓冲区大小为1-256 MiB。我们将目标系统扩展到2-128个GPU。值得注意的是，128个GPU集群模拟了57,344个（128个GPU×448）端点同时以128 B的粒度。结果总结如图14所示。我们还绘制了图15中的模拟吞吐量（即ASTRA-sim 3.0每挂钟秒可以模拟多少纳秒）。

模拟洞察。集体规模越大，模拟需要模拟的128个B型波前请求的数量就越大。因此，对于所有场景，模拟时间在输出缓冲区大小中都是线性的。无论发送到网络模拟器的Wavefront请求数量如何，模拟器都保留了类似的模拟吞吐量。相反，它是由正在建模的目标系统规模决定的。

图15。2-128个GPU的模拟吞吐量（即每挂钟秒模拟纳秒）。

5.5.扩展基础设施模拟

最后，我们验证了ASTRA-sim 3.0通过标准化的InfraGraph捕获不同网络的能力。我们使用ns-3数据包级后端，通过图9所示的Clos结构相互连接，模拟了8个GPU的1 MB环All-Reduce。系统从InfraGraph设备蓝图中实例化，通过注释层绑定每个设备和每个链接的属性。结果总结在表1中。模拟正确地模拟了Clos扩展网络，产生了11,250 ns的最小流量完成时间（FCT）和11,857 ns的独立FCT。基础设施不会产生任何数据包丢失，这证实了环形流量模式在模拟结构中保持无损状态。

6.相关工作

我们主要将以前的模拟器分为两个领域：（i）GPU二进制模拟器和（ii）分布式ML模拟器。

GPU二进制模拟器。GPGPU-sim（GPGPU-Sim，）和MacSim（Gera等人，2018年）是GPU可执行文件的周期准确模拟器，对GPU的完整指令集架构（ISA）进行建模。加速-sim（Khairy等人，2020年）是指令级GPU二进制模拟器的另一个例子。我们注意到，这种精细的、周期准确或指令级的模拟器需要很长时间来模拟单个GPU，这使得它们对多GPU模拟来说是不到的。此外，ISA级模拟与分布式ML无关，因为通信性能以网络操作为主。

分布式ML模拟器。多个分布式机器学习模拟器已经引入研究界。阿特拉斯（Shen等人，2025年）模拟人工智能用例，尽管它主要研究高性能计算（HPC）或存储工作负载。计算（Isaev等人，2023年）为LLM系统共同设计提供详细的分析建模，以及TrioSim（李等人，2025年）将单GPU操作员跟踪推断到大规模多维并行执行。玛雅（Yarlagadda等人，2026年）和Phanthora（秦等人，2025年）重复使用模型代码，以轻松捕获和建模工作负载信息。SimAI（王等人，2025b）利用并行离散事件模拟来提高可扩展性。阿卡迪亚（Meta工程，2023年）进一步扩展，以支持多工作调度场景。值得注意的是，这些模拟器不支持任意定制的集体算法，并默认为教科书算法。此外，没有一个模拟器捕获CU级、缓存线大小的GPU行为，这对建模重要的控制路径延迟至关重要。

表1。ns-3 All-Reduce模拟结果。

指标	Clos网络
AllReduce完成时间（μS）	165.98
达到的总线带宽（Gbps）	88.45
最小FCT（ns）	11,250
最大FCT（ns）	14,552
平均FCT（ns）	11,477
独立FCT（ns）	11,857
峰值FCT间接上（ns）	2,695

7.结论

我们推出ASTRA-sim 3.0，这是ASTRA-sim框架的更新，配备了高保真建模功能。ASTRA-sim 3.0通过自定义集体建模捕获精细的控制路径和架构细节，实现了新的设计空间探索机会。ASTRA-sim 3.0还引入了InfraGraph，这是一个用于捕捉精确分布式ML基础设施的通用表示。

致谢

我们向ASTRA-sim基础设施的原始开发人员和作者表示最深切的感谢：Saeed Rashidi、Srinivas Sridharan、Sudarshan Srinivasan和Taekyung Heo。

AMD、AMD Arrow标志及其组合是Advanced Micro Devices, Inc.的商标。本出版物中使用的其他产品名称仅用于识别目的，可能是各自公司的商标。

人工智能使用。生成性人工智能模型（即LLM）仅用于检查论文的写作质量和语法错误。所有内容完全由作者创建。

参考文献

$1$ AMDAMD cdna 4架构（网站）注：访问时间：2026-04-30外部链接：链接引用者：§1。
蔡等人。（2021）Z.蔡，Z.刘，S.马莱基，M。Musuvathi，T. Mytkowicz，J.Nelson和O. Saarikivi合成最佳集体算法。在Proc.未定义中，pp。62--75。外部链接：2008.08708，文档引用者：§1。
卡拉瓦卡等人。（2025）F.卡拉瓦卡，Á。Cuevas和R。库埃瓦斯从提示到功率：测量llm推理的能量足迹。arXiv：2511.05597 $cs.AI$ 。外部链接：文档引用者：§1。
陈等人（2025a）X.陈，X.王，A.科拉切利，M。李和L。谢电力需求和对ai数据中心的电网影响：挑战和前景。外部链接：文档引用者：§1。
陈等人（2025b）Z.陈，X.胡，M.张，Y。贾，Y。张，M。张，D。刘，F.焦，J.陈，H。刘，A。曾，S。段，R。顾，Y。景，B。韩，J。曹，W。陈，W。谢，J。侯，Y。程，B。徐，M。Xu和C。胡大规模gpu训练集群中高效、可靠和可观察的集体通信库。arXiv：2510.00991 $cs$ 。外部链接：文档引用者：§1。
Cho等人。（2026）J。赵，H。Choi、G. Heo和J.公园LLMServingSim 2.0：异构和非聚合llm服务基础设施的统一模拟器。arXiv：2602.23036 $cs$ 。外部链接：文档引用者：§1。
Cho等人。（2024）J。赵，M。金，H。Choi、G. Heo和J.公园LLMServingSim：用于大规模提供llm推理的hw/sw共同模拟基础设施。在Proc。2024年IEEE工作量表征国际研讨会（IISWC），pp。15-29。外部链接：文档引用者：§1。
Cho等人。（2023）S。赵，H。儿子，还有J。金深度学习训练中的逻辑/物理拓扑感知集体交流。在Proc。2023年IEEE高性能计算机架构国际研讨会（HPCA），pp。56--68。外部链接：ISSN 2378-203X，文档引用者：§1。
Cowan等人。（2023）M。考恩，S。马莱基，M。Musuvathi、O. Saarikivi和Y。熊MSCCLang：微软集体通信语言。在Proc.第28届ACM编程语言和操作系统架构支持国际会议（ASPLOS）中，pp。502-514。外部链接：文件，ISBN 978-1-4503-9916-6引用者：§2.4。
深度搜索-人工智能（2026）DeepSeek-AIDeepSeek-v4：实现高效的百万代币上下文智能（网站）注：访问时间：2026年5月1日外部链接：链接引用者：§1。
Meta的工程（2023）MetaArcadia工程：端到端ai系统性能模拟器（网站）注：访问时间：2026-05-20外部链接：链接引用者：§6。
$12$ 人工智能中的时代AI趋势（网站）注：访问时间：2026年5月1日外部链接：链接引用者：§1。
Fedus等人。（2022）W。Fedus，B。Zoph和N。剃须开关变压器：以简单高效的稀疏性扩展到万亿参数模型。arXiv：2101.03961 $cs$ 。外部链接：文档引用者：§1。
$14$ gem5Gem5：互联网络（网站）注：访问时间：2026-05-06外部链接：链接引用者：脚注2。
Gera等人。（2018）P。格拉，H。金，H。金，S。洪，V。乔治和C。卢克英特尔集成GPU架构的性能表征和模拟。在Proc。2018年IEEE系统和软件性能分析国际研讨会（ISPASS），pp。139--148。外部链接：文档，ISBN 978-1-5386-5010-3引用者：§6。
$16$ 谷歌云什么是gpu及其对ai的重要性（网站）注：访问时间：2026-05-16外部链接：链接引用者：§2.2。
$17$ GPGPU-SimGPGPU-sim（网站）注：访问时间：2026-05-21外部链接：链接引用者：§6。
亨德森等人。（2008）T.R.亨德森，M。Lacage和G.F.Riley使用ns-3模拟器进行网络模拟。在Proc。数据通信会议特别利益小组（SIGCOMM），引用者：§2.1。
霍克尼（1994）R。W。霍克尼mpp的沟通挑战：英特尔paragon和meiko cs-2。平行计算。20，pp。389-398。外部链接：链接引用者：§2.1。
黄等人。（2021）J。黄，P。马朱姆德，S。金，A。穆扎希德，K。H。Yum，还有E。J。金分布式深度学习的通信算法-架构共同设计。在Proc。2021年ACM/IEEE第48届计算机架构国际年度研讨会（ISCA），pp。181-194。外部链接：文件，ISBN 978-1-6654-3333-4引用者：§1。
Isaev等人。（2023）M。伊萨耶夫，N。麦当劳，L.Dennison和R。武杜克Calculon：一种用于系统和大型语言模型的高级共同设计的方法和工具。在高性能计算、网络、存储和分析国际会议纪要中，SC '23，美国纽约。外部链接：文档，链接引用者：§6。
杰盖（2019）S。Jeaugey使用nccl 2.4（网站）大规模扩展您的深度学习培训注：访问时间：2026-05-06外部链接：链接引用者：§1，§2.3。
约翰等人。（2024）C。M。约翰，S。纳西尔，C。Penke和A。赫滕性能和功率：使用caraml对加速器上的ai工作负载进行系统评估。在Proc。SC24-W：高性能计算、网络、存储和分析国际会议研讨会，pp。1164--1176。外部链接：文档引用者：§2.2。
Khairy等人。（2020）M。Khairy，Z. Shen，T.M.Aamodt和T.G.RogersAccel-sim：用于验证GPU建模的可扩展模拟框架。在Proc.第47届计算机架构国际研讨会（ISCA）中，pp。473-486。外部链接：文档引用者：§6。
Kim等人。（2024）H。金，J。Ryu和J。李TCCL：为pcie gpu集群发现更好的通信路径。在第29届ACM编程语言和操作系统架构支持国际会议（ASPLOS）中，pp。999--1015。外部链接：文件，ISBN 979-8-4007-0386-7引用者：§1。
Laskar等人。（2024）S。拉斯卡尔，P。Majhi，S。金，F.马哈茂德，A.穆扎希德和E。J。金增强深度学习培训的mcm加速器中的集体沟通。在Proc。2024年IEEE高性能计算机架构国际研讨会（HPCA），外部链接：文件，ISBN 979-8-3503-9313-2引用者：§1。
李等人。（2025）Y。李，Y。Bao，G. Wang，X. Mei，P.Vaid，A。Ghosh，A。慢跑，D。布南德，A。Joshi和Y。太阳TrioSim：用于多GPU系统上大规模dnn工作负载的轻量级模拟器。在第52届计算机架构国际年度研讨会的论文集中，ISCA '25，美国纽约，pp.1524--1538。外部链接：文档，链接引用者：§6。
刘等人。（2024）X.刘，B.阿尔扎尼，S。K。R。卡卡拉，L。赵，V。刘，M.卡斯特罗，S。坎杜拉和L。马歇尔重新思考机器学习集体通信是一个多商品流问题。在Proc。数据通信会议特别利益小组（SIGCOMM），pp。16-37。外部链接：文档，ISBN 979-8-4007-0614-1引用者：§1。
Lowe-Power等人。（2020）J。Lowe-Power，A。M。艾哈迈德，A。阿克拉姆，M。阿连，R。Amslinger，M。Andreozzi，A。阿尔莫亚赫，N。阿斯穆森，B。贝克曼，S。Bharadwaj，G. Black，G. Bloom，B.R。布鲁斯，D。R。卡瓦略，J。卡斯特利翁，L。陈，N。Derumigny，S。迪斯特尔霍斯特，W。艾尔萨瑟，C。埃斯昆，M。法里博尔兹，A。法马尼-法拉哈尼，P。Fotouhi，R。甘博尔德，J.甘地，D。Gope，T. Grass，A。古铁雷斯，B。哈宁迪托，A。汉森，S。哈里亚，A。Harris，T. Hayes，A.埃雷拉，M。霍斯内尔，S。A。R。贾弗里，R。Jagtap，H。张，R。杰亚保罗，T.M.琼斯，M。荣格，S。坎诺斯，H。Khaleghzadeh，Y。Kodama，T. Krishna，T. Marinelli，C.梅纳德，A。蒙德利，M。Moreto，T.Mück，O.Naji，K.娜泰拉，H。阮，N。尼科莱里斯，L。E。奥尔森，M。奥尔，B。范，P。普里埃托，T.雷迪，A.罗尔克，M。萨马尼，A。桑德伯格，J.Setoain，B。辛加罗夫，M。D。Sinclair，T. Ta，R.Thakur，G. Travaglini，M.厄普顿，N。Vaish，我。Vougioukas，W。王，Z.王，N.Wehn，C。魏斯，D。A。伍德，H。Yoon和E。F. 祖连gem5模拟器：版本20.0+。arXiv：2007.03152 $cs$ 。外部链接：文档引用者：§2.1。
马等人。（2021）J。马，D。董，C。李，K。吴和L。肖PAARD：蜻蜓网络的接近感知全还原通信。在Proc。2021 IEEE国际关于应用程序的并行和分布式处理、大数据和云计算、可持续计算和通信、社交计算和网络（ISPA/BDCloud/SocialCom/SustainCom）的会议，pp。255-262。外部链接：文档引用者：§1。
人等。（2025）C。伙计，J。公园，H。吴，H。徐，S。Sridharan和T. Krishna阶段：用于分布式ai系统共同设计的符号张量图生成器。arXiv：2511.10480 $cs$ 。外部链接：文档引用者：§1。
消息传递界面论坛（2025）消息传递接口论坛MPI：消息传递接口标准（网站）注：访问时间：2026-05-18外部链接：链接引用者：§2.3。
$33$ NVIDIAPascal调整指南-pascal调整指南13.2文档（网站）注：访问时间：2026-05-20外部链接：链接引用者：§1。
开放人工智能（2026）OpenAI介绍挪威星际之门（网站）注：访问时间：2026-05-14外部链接：链接引用者：§1。
$35$ J。O'Donnell和C。Crownhart我们计算了ai的能量足迹。这是你没听说过的故事。（网站）麻省理工学院技术评论。注：访问时间：2026-05-14外部链接：链接引用者：§1。
帕特尔（2022）A。Patelai的真实价格：预培训与推理成本（网站）注：访问时间：2026-05-13外部链接：链接引用者：§1。
秦等人。（2025）J。秦，J。陈，X.孔，Y.吴，T.袁，L.罗，Z.王，Y.张，T.陈，A.R。Lebeck和D。卓Phantora：在基于模拟的机器学习系统性能估算中最大化代码重用。arXiv：2505.01616 $cs.DC$ 。外部链接：文档引用者：§6。
Rashidi等人（2020a）S。拉希迪，P。舒尔普利，S。斯里达兰，N。哈萨尼，D。穆迪格，K。奈尔，M。Smelyanski和T. Krishna推荐模型的可扩展分布式训练：使用tcp/ip传输的astra-sim + ns3案例研究。在Proc。2020年IEEE高性能互连研讨会（HOTI），pp。33-42。外部链接：ISSN 2332-5569，文档引用者：§2.1。
Rashidi等人（2020b）S。拉希迪，S。斯里达兰，S。Srinivasan和T. KrishnaASTRA-sim：为分布式dl培训平台启用sw/hw共同设计探索。在Proc。2020年IEEE系统和软件性能分析国际研讨会（ISPASS），pp。81--92。外部链接：文件，ISBN 978-1-7281-4798-7引用者：§1、§1、§1、§2.1、§2.1、§2.3。
Shah等人。（2023）A。沙，V。Chidambaram，M。考恩，S。马莱基，M。Musuvathi，T. Mytkowicz，J.Nelson、O. Saarikivi和R.辛格TACCL：使用通信草图指导集体算法合成。在Proc。USENIX网络系统设计和实施研讨会（NSDI），引用者：§1。
Shah等人。（2025）A。沙阿，A。张达，B。李，C。罗查，C。黄，J。何塞，M。Musuvathi，O. Saarikivi，P.程，Q.周，R.达塔特里，S。Maleki和Z. YangMSCCL++：重新思考尖端ai应用的gpu通信抽象。arXiv：2504.09014 $cs$ 。外部链接：文档引用者：§1，§2.4。
沈等人。（2025）S。沈，T.博纳托，Z.胡，P.Jordan、T. Chen和T. HoeflerATLAHS：一个以应用程序为中心的网络模拟器工具链，用于ai、hpc和分布式存储。arXiv：2505.08936 $cs.DC$ 。外部链接：文档引用者：§6。
Sridharan等人。（2023）S。Sridharan，T. Heo，L.冯，Z.王，M.Bergeron，W。傅，S。郑，B。库廷霍，S。拉希迪，C。男人和T.克里希纳脉轮：使用标准化执行跟踪推进性能基准和共同设计。arXiv：2305.14516 $cs$ 。引用者：§1，§2.1。
Thakur等人。（2005）R。塔库尔，R。Rabenseifner和W。格罗普mpich中集体通信操作的优化。《国际高性能计算应用杂志》19（1），pp。49-66。外部链接：ISSN 1094-3420，1741-2846，文档引用者：§1，§2.3。
王等人。（2019）G.王，S.Venkataraman，A。帕尼沙耶，J。Thelin，N。Devanur，还有我。斯多葛眨眼：分布式ml的快速和通用集体。在Proc。系统和机器学习会议（SysML），引用者：§1。
王等人（2025a）H。王，X.肖，M.严，Z.朱，D.韩，D。王，W。李，X.叶，C.呼，H。陈和G.孙gpus上llm推理的系统表征。arXiv：2512.01644 $cs$ 。外部链接：文档引用者：§1。
王等人（2025b）X.王，Q.李，Y。徐，G.卢，D.李，L。陈，H。周，L。郑，S。张，Y。朱，Y。刘，P。张，K。钱，K。他，J。高，E。翟，D。蔡和B。傅SimAI：统一架构设计和性能调整，用于具有可扩展性和精度的大规模语言模型训练。在Proc.第22届USENIX网络系统设计和实施研讨会（NSDI）中，pp。541-558。外部链接：ISBN 978-1-939133-46-5引用者：§6。
赢等人。（2024）W。赢了，M。埃拉瓦扎根，S。斯里尼瓦桑，S。古普塔和T.克里希纳TACOS：用于分布式机器学习的拓扑感知集体算法合成器。在第57届IEEE/ACM微观架构国际研讨会（MICRO）中，pp。856--870。外部链接：文档引用者：§1。
赢等人。（2023）W。Won，T. Heo，S.拉希迪，S。斯里达兰，S。Srinivasan和T. KrishnaASTRA-sim2.0：为大规模大型模型训练建模分层网络和分散系统。在Proc。2023年IEEE系统和软件性能分析国际研讨会（ISPASS），pp。283--294。外部链接：文件，ISBN 979-8-3503-9739-0引用者：§1、§1、§2.1、§2.1。
$50$ xAIColossus：世界上最大的人工智能超级计算机（网站）注：访问时间：2026-05-06外部链接：链接引用者：§1。
Yarlagadda等人。（2026）S。亚拉加达，A。阿格拉瓦尔，E。平托，H。达拉帕内尼，M。Meratwal，S。米塔尔，P。巴朱里，S。Sridharan和A。图马诺夫Maya：使用gpu运行时仿真优化深度学习训练工作负载。在第21届欧洲计算机系统会议（EuroSys）中，pp。1738--1758。外部链接：文档引用者：§6。
Yee Jiun Song和Kaushik Veeraraghavan（2025）Yee Jiun Song和Kaushik VeeraraghavanMeta的基础设施演变和ai的出现（网站）注：访问时间：2026-05-06外部链接：链接引用者：§1。
Yoo等人。（2025）J。哟，C。老，L。曹，B。兰茨，M.Yu、T. Krishna和P.沙尔马为大规模机器学习进行简单、现实的网络基础设施测试。arXiv：2504.20854 $cs$ 。外部链接：文档引用者：§1。
Yoo等人。（2024）J。哟，W。赢了，M。考恩，N。姜，B。克伦克，S。Sridharan和T. Krishna实现深度学习集体算法的标准化表示。在Proc。2024年IEEE高性能互连研讨会（HOTI），pp。33-36。外部链接：文档引用者：§1。
Zhao和Georgantas（2025）H。赵和N。乔治·格塔斯具有可预测延迟的ML推理调度。在Proc。计算连续体中自主AIoT系统中间件（MAIoT）的会议记录，pp。25-30。外部链接：文件，ISBN 979-8-4007-2304-9引用者：§1。
赵等人。（2026）L。赵，S。马莱基，Y。王，Z.王，Z.杨，H.Pourreza和A。克里希纳穆尔蒂ForestColl：异构网络结构上的吞吐量最佳集体通信。在Proc。USENIX网络系统设计和实施研讨会（NSDI），外部链接：2402.06787引用者：§1。

实验支持，请查看构建日志以查找错误。由LA T E xml生成

。

报告错误的说明

我们正在继续改进论文的HTML版本，您的反馈有助于增强可访问性和移动支持。要报告有助于我们改进转换和渲染的HTML中的错误，请选择下面列出的任何方法：

点按"报告问题"(）按钮，位于页面标题中。

**提示：**您可以先选择相关文本，以便将其包含在报告中。

我们的团队已经确定了以下问题。我们感谢您花时间审查和报告我们可能尚未发现的渲染错误。您的努力将帮助我们为所有读者改进HTML版本，因为残疾不应该成为访问研究的障碍。感谢您对倡导所有人开放访问的持续支持。

有一个免费的开发周期？帮助支持arXiv的可访问性！我们在LaTeXML的合作者维护了一份需要转换的软件包列表，并欢迎开发人员的贡献。

我们感谢我们主要资助者 、成员机构和所有贡献者的支持。

关于·帮助·联系·订阅·版权·隐私·可访问性·运营状态（在新标签页中打开）

主要资金支持来自