英伟达3个月卖出800吨H100!老黄竟自曝万亿GPU霸主「三无」策略

有分析公司算出来,才三个月英伟达就卖出了 800 多吨 H100。然而市值已超万亿的英伟达,竟是一个「无计划、无汇报、无层级」的公司。

仅在今年第二季度,英伟达就已经卖出了 816 吨 H100!

假如这个速度不变,它有望在今年卖出 3,266 吨 H100。并且,在接下来的每年里,英伟达都会卖出 120 万张 H100。

现在,云服务供应商的大规模 H100 集群容量即将耗尽,全球陷入 GPU 短缺,硅谷大佬们都急了------整体算来,全球公司需要约 432000 张 H100。

最近同时大火的,还有黄仁勋管理英伟达的方法。

「没有计划、没有汇报、没有层级」,如此随性,如此佛系,甚至可以说,如此疯狂。

就是这种管理办法,让英伟达市值超过 1 万亿,在半导体公司中一时风头无两。

半导体巨人

英伟达声称,在 2024 财年第二季度,他们售出了价值 103 亿美元的数据中心硬件。

价值 103 亿美元是什么概念?

今天,市场研究公司 Omdia 给出了让我们更容易理解的单位------816 吨 H100!

根据 Omdia 估计,第二季度英伟达的 H100 GPU 出货量超过了 816 吨。

一个英伟达 H100 GPU,再加上散热器,平均重量超过了 3 公斤,因此,第二季度的 H100 发货量,保守估计也有 30 万个。

Omdia 的估算准确吗?

要知道,H100 有三种不同的外形尺寸,重量也不尽相同。

H100 PCIe 显卡重达 1.2 千克,H100 SXM 模组的重量尚不清楚,而带散热片的 OAM 模组重量可达 2 千克,它与 H100 SXM 的尺寸和 TDP 大致相同。

假设 H100 出货量 80% 是模组,20% 是显卡,那么单个 H100 的平均重量应为 1.84 千克左右。

所以,Omida 的估算可以认为大致准确。当然,实际重量可能少于 816 吨这个数字。

816 吨是多重?

为了便于理解这个重量,我们可以拿以下这些东西来类比------

4.5 架波音 747

11 架航天飞机****

181,818 台 PlayStation 5

32,727 只金毛

假如英伟达在未来几个季度保持相同的 GPU 销量,那么它有望在今年售出 3,266 吨 H100。

假如这个速度保持不变,每年英伟达都会卖出 120 万个 H100。

并且,还不止这些。

还有 H800,以及上一代的 A100、A800、A30。

这样算的话,英伟达每季度实际销售的 GPU 数量远远高于 30 万个,重量总计远超过 816 吨。

即便如此,仍然不能满足全球的 GPU 荒------根据行业内部消息,英伟达 H100 2023 年的产量,早已销售一空,现在交钱订购,至少要到 2024 年中才能拿到货。

现在,H100 早已一卡难求。

甚至还有外媒爆料:英伟达要在 2024 年,将 H100 的产量从今年的 50 万张左右直接提高到 150-200 万张。

显然,随着英伟达芯片在生成式 AI 的热潮中愈加紧俏,这个预测并不夸张。

黄仁勋「第一性原理」

与此同时,GPU 的销量暴涨,也让英伟达成为了世界算力霸主,成功进入万亿美元俱乐部。

这背后离不开领导人黄仁勋的「疯狂式」的管理策略。

老黄表示,当你创立一家公司时,很自然地从第一性原理开始。

「就像我们正在建造一台机器如何运作一样,什么是输入,什么是输出,处在什么条件下,行业标准又是什么.....」

用老黄的话来说,英伟达的使命是,解决世界那些几乎不可能的计算问题。如果一个问题可以由普通的电脑解决,英伟达就会不做。

为了实现这一使命,英伟达吸引很多很多出色的人才,聚集在一起。

同时还需要,老黄管理这些人才的顶级策略,具体包括:

直接管理 40 名下属,没有 1:1 会议

英伟达不需要「金字塔」式的管理,而是将权力下放给每一个人。

老黄信奉扁平化的组织最富有能力,以便信息能够快速传播。

其中,组织的第一层------公司高层,就必须要考虑更加周全。他从不向任何人高管提供职业建议,因为管理团队中没有人来向他寻求职业建议。

「他们已经成功了,他们做得很好」。

另外,老黄从不进行 1 对 1 会议,所有事情都在小组讨论中进行。

「如果你有一个战略方向,为什么只告诉一个人?应该让每个人都知道」。

每个人都能随时了解所有情况

在公司内部,从来都不会召开副总裁会议、总监会议。

老黄称,自己参加的会议里,有来自不同组织的人,刚刚毕业的大学生,任何人都可以参加并发表意见。

不做状态报告,而是 email「前五件事情」

在英伟达,每个人都不需要做状态报告,因为老黄认为这像是「元资讯」,太过精炼,基本上没有有益的讯息。

相反,公司里的任何人都可以通过电子邮件向他发送自己的「前五件事情」。

你所学到的,你所观察到的,你即将要做的,无论是什么事情,他每天早上都会阅读 100 + 邮件,去了解大家的 TOP 5 things。

比如,你去了一家非常棒的餐厅、有了一个可爱的 baby...,这才是真正重要的信息。

没有正式的定期计划

对于,如何去做规划,让公司最底层的想法展现出来、让最好的工程师执行。

老黄表示,对于我来说,没有 5 年计划,也没有 1 年计划,会根据不断变化的业务和市场条件进行重新评估。

总结来说,英伟达优化组织结构的目的是:(1)吸引优秀人才;(2)保持尽可能小的团队规模;(3)使信息传播尽可能迅速

就连英伟达深度学习研究员 VP Bryan Catanzaro,直接现身证明,全部为真。

那么,在这样的组织工作是一种什么样的体验?

Bryan 表示,在很多方面,这是一个非常稳定的环境。许多资深员工已经在英伟达工作了几十年。这种风格并不适合每一个人,但对很多人来说却很有效。这是一个充满活力的环境。

与马斯克不同的是,老黄很少对外讲述自己管理公司的方法。

今年在台大的演讲中,老黄曾讲述了定义了今天英伟达样貌的 3 个故事。这当中,离不开他的决策和判断,已经思考。

最初,英伟达与 SEGA 签约,为其打造游戏机。经过一年的开发过程,却发现使用的技术架构是错误的。

但是,黄仁勋发现即便纠正过来,也无济于事,因为这一产品创造与微软的 Widows 系统并不兼容。

于是,他联络了 SEGA 执行长,解释英伟达无法完成这个任务,并还得到了 SEGA 的帮助,所幸没有破产。

第二件事,就是 2007 年英伟达宣布的 CUDA GPU 加速计算技术。

为了向全世界推广 CUDA 技术,还专门创办了 GTC 的会议。经过多年努力,英伟达这项技术成为 AI 革命重要的推动引擎。

第三件事,做出放弃手机市场的艰难决定,将重心放在显卡上。

正如老黄所说,「战略性的撤退、牺牲、决定放弃什麽是成功的核心,非常关键的核心。」

一位 X 的工程师称,这一管理方式与马斯克 X 公司的操作非常类似。

还有网友戏称,老黄的这种管理方式,都可以在多模态智能体大模型体系中建模了。

如果老黄,能够像马斯克一样出一本传记,相信每个人都愿意去拜读一下。

看看,英伟达的 GPU 如何取得成功,成为大厂的掘金铲。

全球 GPU 缺口超 40 万张

H100 的短缺,早就让硅谷大佬们都慌了!

Sam Altman 就曾自曝,GPU 已经告急,希望用 ChatGPT 的用户能少一点。😂

「GPU 非常短缺,使用我们产品的人越少越好」

Altman 表示,受 GPU 限制,OpenAI 已经推迟了多项短期计划(微调、专用容量、32k 上下文窗口、多模态)。

OpenAI 联合创始人兼职科学家 Andrej Karpathy 也透露过,现在谁家得到了多少块 H100,都是硅谷的顶级八卦。

这张在社区广为流传的图曾做出如下估算------

-GPT-4 可能在大约 10000-25000 张 A100 上进行了训练

-Meta 大约 21000 A100

-Tesla 大约 7000 A100

-Stability AI 大约 5000 A100

-Falcon-40B 在 384 个 A100 上进行了训练

-- Inflection 使用了 3500 和 H100,来训练与 GPT-3.5 能力相当的模型

现在不光是科技公司排着队购买 H100,连沙特阿拉伯和阿联酋都出手了,一下就买了几千个 H100 GPU。

马斯克直言,现在想买到 H100 已经难如登天。

根据马斯克的说法,GPT-5 可能需要 30000-50000 个 H100。此前,摩根士丹利曾表示 GPT-5 使用 25000 个 GPU,自 2 月以来已经开始训练,不过 Sam Altman 之后澄清了 GPT-5 尚未进行训。

而一篇名为「Nvidia H100 GPU:供需」文章曾推测,小型和大型云提供商的大规模 H100 集群容量即将耗尽,H100 的需求趋势至少会持续到 2024 年底。

微软的年报中也向投资者强调,GPU 是其云业务快速增长的「关键原材料」。如果无法获得所需的基础设施,可能会出现数据中心中断的风险因素。

据推测,OpenAI 可能需要 50000 个 H100,而 Inflection 需要 22,000 个,Meta 可能需要 25k,而大型云服务商可能需要 30k(比如 Azure、Google Cloud、AWS、Oracle)。

Lambda 和 CoreWeave 以及其他私有云可能总共需要 100k。Anthropic、Helsing、Mistral 和 Character 可能各需要 10k。

整体算来,全球公司需要约 432000 张 H100。按每个 H100 约 35k 美元来计算,GPU 总需求耗资 150 亿美元。

这其中,还不包括国内大量需要 H800 的互联网公司。

而且,H100 不光不愁卖,利润率还高得吓人。

业内专家曾称,英伟达 H100 的利润率接近 1000%。

参考资料:

twitter.com/danhockenma...

www.tomshardware.com/news/nvidia...

相关推荐
蚝油菜花15 天前
王炸!Anthropic 推出全新模型 Claude 3.5 Haiku,首发支持计算机使用功能!
人工智能·llm·资讯
三花AI18 天前
Playground V3:图形设计模型的文字处理新标杆
开源·资讯
万界星空科技1 个月前
万界星空科技MES系统与各大系统的集成
产品·运营·资讯
战场小包3 个月前
OpenAI动荡,将走向何方、GPT5或许将近、毒舌AI轻松破防网友、最新版 GPT-4o AI 模型得满分 | AGI掘金视界周刊第 4 期
人工智能·资讯
字节跳动开源3 个月前
字节跳动开源多云多集群管理引擎 KubeAdmiral v1.0.0 发布!
开源·github·资讯
战场小包3 个月前
AI视界周刊第 2 期:里程碑 Llama 3.1 开源、AI训AI,越训越傻、AI 搜索重燃战火
人工智能·资讯
栩栩云生3 个月前
[240726] Mistral AI 发布新一代旗舰模型 | Node.js 合并 TypeScript 文件执行提案
typescript·node.js·资讯
赵侠客3 个月前
使用Hutool要注意了!升级到6.0后你调用的所有方法都将报错
java·后端·资讯
栩栩云生4 个月前
[240706] 史蒂夫·乔布斯近40年前就预言了苹果智能 | Globalping 用于网络诊断和性能测试的命令行工具
命令行·apple·资讯
栩栩云生5 个月前
[240622] X-CMD 发布 v0.3.12: 引入 codeberg,增强传统命令,改善对 Elvish 和 Fish 支持
开源·命令行·资讯