「【新智元导读】为了争夺有限的 GPU，OpenAI 内部一度打得不可开交。2024 年总算力投入 70 亿美元，但算力需求依旧是无底洞。恰恰，微软发布了全球首台 GB300 超算，专供 OpenAI 让万亿 LLM 数天训完。」
一图看透全球大模型！新智元十周年钜献，2025 ASI 前沿趋势报告 37 页首发
过去一年，OpenAI 在算力上斥资 70 亿美元。
其中，大模型研发占了最大头------50 亿美元，而推理计算仅用了 20 亿美元。
可见，LLM 训练正吞噬无尽的算力，这也是 OpenAI 最近一直在大举扩展超算建设与合作的重要原因。
采访中，OpenAI 总裁 Greg Brockman 坦言，「内部如何分配 GPU，简直就是一场痛苦与煎熬」。
OpenAI 各个团队争抢 GPU，那叫一个激烈。最头疼的是，如何去合理分配。
如今，甲骨文、英伟达、AMD 等芯片巨头 / 云服务巨头，纷纷与 OpenAI 联结，能够解其燃眉之急。
这不，就连曾经最大的「金主爸爸」微软也上阵了。
纳德拉官宣，全球首个配备 4600+ GB300 的超算率先上线，专攻 OpenAI。预计，未来将扩展到十万块 GPU。
英伟达称，这一算力巨兽，可以让 OpenAI 不用数周，仅在数天内训练万亿参数模型。
「全球首台 GB300 超算」
「数天训出万亿 LLM」
就在昨天，微软 Azure 宣布成功交付了，全球首个生产级超大规模 AI 集群。
它搭载了超 4600 个 GB300 NVL72，配备通过下一代 InfiniBand 网络互联的 Blackwell Ultra GPU。
今年早些时候，微软曾推出 GB200 v6 虚拟机（VM），通过大规模 GB200 NVL2 集群，已在 OpenAI 内部训练部署得到应用。
这一次，GB300 v6 虚拟机再次树立了行业标杆。
该系统基于机架级设计，每个机架包含 18 个虚拟机，共计 72 个 GPU：
- 72 个 Blackwell Ultra GPU，搭配 36 个 Grace CPU
- 通过下一代 Quantum-X800 InfiniBand，实现每 GPU 800 Gb/s 的跨机架横向扩展带宽（2x GB200 NVL72）
- 机架内 130 TB/s 的 NVLink 带宽
- 37TB 高速内存
- 高达 1,440 PFLOPS 的 FP4 Tensor Core 性能
「
」
「全新设计，为大规模 AI 超算而生」
为打造出最强超算，微软对计算、内存、网络、数据中心、散热和供电等技术栈的每一层，都进行了重新设计。
「机架层：低延迟高吞吐」
通过 NVLink 和 NVSwitch，GB300 v6 在机架层面实现了高达 130TB/s 的机架内数据传输速率，连接了总计 37TB 的高速内存，由此消除了内存和带宽瓶颈。
在大模型和长上下文场景下，推理吞吐量大幅提升，为 AI 智能体和多模态 AI 带来前所未有的响应速度和扩展性。
同时，Azure 部署了采用当今最快网络 fabric------Quantum-X800 Gbp/s InfiniBand------的全连接胖树（fat-tree）无阻塞架构，能够跨机架扩展数万个 GPU。
此外，Azure 散热系统采用独立的「散热器单元」和「设施级冷却方案」。
在为 GB300 NVL72 这类高密度、高性能集群保持热稳定性的同时，最大限度地减少了水资源消耗。
「软件层：全面优化」
不仅如此，微软为存储、编排和调度重构的软件栈也经过全面优化，能够在超算规模上充分利用计算、网络、存储和数据中心基础设施，提供前所未有的高性能和高效率。
「OpenAI GPU 争夺战」
「一场「痛苦与煎熬」」
在 OpenAI 内部，正上演一场 GPU 激烈争夺战。
上周四，Greg 在一期「Matthew Berman」播客节目中，自曝管理算力资源分配的过程，令人揪心且筋疲力尽。
这太难了，你总能看到各种绝妙的点子，然后又有人带着另一个绝妙的点子来找你，你心想，这个也太棒了。
在 OpenAI 内部，将算力资源主要分配给「研究」和「应用产品」两个方向。
为了应对算力分配的挑战，OpenAI 建立了一套相对清晰的资源分配机制：
- 高层决策：由奥特曼和 Fidji Simo 组成的领导团队，决定研究团队与应用团队之间的总体算力划分；
- 研究团队内部协调：首席科学家和研究负责人，决定研究团队资源分配；
- 运营层：由 Kevin Park 领导的小型内部团队负责 GPU 的具体分配和调动。
OpenAI 复杂算力关系网络图
Greg 提到，当一个项目接近尾声时，Kevin 会重新分配硬件资源，以支持新启动的项目。
算力驱动着整个团队的生产力，此事干系重大。
大家对此都非常在意。人们对「我能否分到算力」这件事所投入的精力与情感强度远超想象。
一直以来，OpenAI 多次公开表达其对算力永不满足的需求。
OpenAI 首席产品官 Kevin Weil 曾表示，「我们每次拿到新的 GPU，它们都会被立刻投入使用」。
OpenAI 对算力的需求逻辑很简单------
GPU 的数量直接决定了 AI 应用的能力上限。获得的 GPU 越多，所有人就能使用越多的 AI。
不仅 OpenAI，整个行业科技巨头也在加码算力投入。小扎透露，Meta 正将「人均算力」打造为核心竞争优势。
上个月，奥特曼称，OpenAI 正在推出「算力密集型服务」。
当我们以当前模型的成本，将海量算力投入到有趣的新想法上时，能创造出怎样的可能性？
这场算力争夺战中，谁手握最多的算力，将决定谁在 AI 竞赛中脱颖而出。
参考资料：