谷歌首款 AI 推理特化版 TPU 芯片来了，专为深度思考模型打造。
代号 Ironwood，也就是 TPU v7，FP8 峰值算力 4614TFlops，性能是 2017 年第二代 TPU 的 3600 倍，与 2023 年的第五代 TPU 比也有 10 倍。
（为什么不对比第六代，咱也不知道，咱也不敢问。）
第七代 TPU 还突出高扩展性，最高配集群可拥有 9216 个液冷芯片，峰值算力 42.5 ExaFlops，也就是每秒运算 42500000000000000000 次。
是目前全球最强超级计算机 EL Capitan 的 24 倍。
谷歌称，AI 正从响应式（提供实时信息供人类解读）转变为能够主动生成洞察和解读的转变。
在推理时代，Agent 将主动检索和生成数据，以协作的方式提供洞察和答案，而不仅仅是数据。
而实现这一点，正需要同时满足巨大的计算和通信需求的芯片，以及软硬协同的设计。
谷歌 AI 芯片的软硬协同
深度思考的推理模型，以 DeepSeek-R1 和谷歌的 Gemini Thinking 为代表，目前都是采用 MoE（混合专家）架构。
虽然激活参数量相对少，但总参数量巨大，这就需要大规模并行处理和高效的内存访问，计算需求远远超出了任何单个芯片的容量。
（o1 普遍猜测也是 MoE，但是 OpenAI 他不 open 啊，所以没有定论。）
谷歌 TPU v7 的设计思路，是在执行大规模张量操作的同时最大限度地减少芯片上的数据移动和延迟。
与上一代 TPU v6 相比，TPU v7 的高带宽内存 (HBM) 容量为 192GB，是上一代的 6 倍，同时单芯片内存带宽提升到 7.2 TBps，是上一代的 4.5 倍。
TPU v7 系统还具有低延迟、高带宽的 ICI（芯片间通信）网络，支持全集群规模的协调同步通信。双向带宽提升至 1.2 Tbps，是上一代的 1.5 倍。
能效方面，TPU v7 每瓦性能也是上一代的两倍。
硬件介绍完，接下来看软硬协同部分。
TPU v7 配备了增强版 SparseCore ，这是一款用于处理高级排序和推荐工作负载中常见的超大嵌入的数据流处理器。
TPU v7 还支持 Google DeepMind 开发的机器学习运行时 Pathways，能够跨多个 TPU 芯片实现高效的分布式计算。
谷歌计划在不久的将来把 TPU v7 整合到谷歌云 AI 超算，支持支持包括推荐算法、Gemini 模型以及 AlphaFold 在内的业务。
网友：英伟达压力山大了
看过谷歌最新 TPU 发布，评论区网友纷纷 at 英伟达。
有人称如果谷歌能以更低的价格提供 AI 模型推理服务，英伟达的利润将受到严重威胁。
还有人直接 at 各路 AI 机器人，询问这款芯片对比英伟达 B200 如何。
简单对比一下，TPU v7 的 FP8 算力 4614 TFlops，比 B200 标称的 4.5 PFlops（=4500 TFlops）略高。内存带宽 7.2TBps，比英伟达 B200 的 8TBps 稍低一点，是基本可以对标的两款产品。
实际上除了谷歌之外，还有两个云计算大厂也在搞自己的推理芯片。
亚马逊的 Trainium、Inferentia 和 Graviton 芯片大家已经比较熟悉了，微软的 MAIA 100 芯片也可以通过 Azure 云访问。
AI 芯片的竞争，越来越激烈了。
参考链接：
欢迎在评论区留下你的想法！
--- 完 ---