英伟达Groq 3 LPX全面量产,AI工厂进入Token拼价时代,重构智能体AI底座

辑正在被重新定义。Groq 3 LPX不是一块普通的加速卡,它是英伟达针对"Token生成速度"这一新瓶颈,用极致协同设计交出的系统级答案。

本文基于英伟达官方新闻稿、官方产品页、官方技术博客,以及CoreWeave官方新闻稿,完整拆解Groq 3 LPX的底层架构、电源工程创新、产业链落位与竞争格局。

一、从量产官宣到生产交付的时间线

先看官方披露的核心数据。在Artificial Analysis的基准测试中,Groq 3 LPX运行开源智能体模型Gemma 4 31B,在10万Token长上下文场景下,实现每秒3400个输出Token,官方表述为"该模型有史以来测得的最快速度",比同类平台快4倍。

英伟达创始人兼CEO黄仁勋在官方新闻稿中的表态,点明了战略意图:"推理是AI的增长引擎。Grace Blackwell和NVL72彻底改变了大型语言模型推理的性能与效率,Vera Rubin延续这一愿景,用面向智能体AI时代的工作负载优化配置,以LPX将性能前沿推向超快Token生成。"

这段话有两个信息值得注意。第一,"推理是AI的增长引擎",意味着英伟达官方将增长叙事的重心,从训练侧转向推理侧。第二,LPX被定位为"面向智能体AI的工作负载优化配置",说明它解决的不是通用问题,而是智能体场景下的特定瓶颈。

从官宣到交付,落地进展在持续加码。Nebius是首家采用Groq 3 LPX的AI云服务商,将把该加速器接入其生产级推理平台Nebius Token Factory,计划在第四季度部署首批LPX机架;紧随其后,Groq公司成为平台早期采用者之一。SpaceXAI宣布采用NVIDIA Vera CPU为其下一代智能体AI提供算力,覆盖从地面数据中心到轨道卫星。CoreWeave则将Spectrum-X多平面网络投入生产环境,并在9月30日宣布Vera Rubin NVL72生产规模可用,首发客户Cognition实测其SWE-2推理工作负载总Token吞吐量较GB200 NVL72基线提升4.8倍,强化学习工作负载输出Token吞吐提升3.8倍。

图1:NVIDIA Groq 3 LPU芯片架构解析图(来源:NVIDIA官方技术博客)。

二、为什么智能体AI需要一块专门的推理芯片

要理解Groq 3 LPX,先要理解智能体AI与传统AI推理的算力特征差异。

传统AI应用(如单次问答、内容生成)是"一次请求,一次响应"。智能体AI则不同,它需要在完成一个复杂任务时,进行多步推理、调用工具、访问外部系统、验证结果、修正路径。每一步都可能生成大量Token,且每一步的响应延迟都会累积。

英伟达官方给出的数据是:智能体系统消耗的Token量,最高可达传统AI应用的15倍。这意味着,同样规模的用户量和任务量,智能体场景对推理算力的需求是数量级的放大。

更关键的是延迟。智能体生成响应时,Token是逐个产出的,用户感知的"首Token延迟"和"字与字之间的间隔",直接由解码速度决定。当一个智能体要经历数百甚至上千个推理步骤时,任何微小的解码延迟都会被放大成整体体验的崩溃。官方表述将其概括为"解码延迟"这一全新性能挑战。

这正是Groq 3 LPX的切入点:不追求峰值吞吐的账面数字,而是专注把单个用户能获得的Token生成速率(即"交互性")做到极致,同时保持系统级吞吐与经济效益。它和Rubin GPU的分工是:Rubin GPU负责大规模上下文处理,LPX加速延迟敏感型解码工作负载。

三、底层架构拆解:LPU、SRAM与"速度遇上规模"

Groq 3 LPX的核心计算单元,是Groq 3 LPU(语言处理单元)。LPU不是新概念,Groq公司过去几年一直在推这套架构,英伟达通过与Groq的授权合作,将其整合进Vera Rubin平台。

单个LPX机架的硬件配置如下:256颗互连的LPU加速器;每颗LPU提供500MB SRAM、150TB/s的SRAM带宽、2.5TB/s的纵向扩展带宽;整个机架聚合出128GB SRAM、40PB/s的SRAM带宽、640TB/s的片间直连带宽,另有12TB DDR5内存用于承载大模型与大工作负载。

这套配置的技术逻辑,与英伟达主流GPU路线截然不同。

主流GPU推理的瓶颈在于HBM带宽与显存容量之间的平衡,权重参数从HBM读取的速度决定了吞吐上限。而LPU的路线是"存储上芯片":把模型权重尽可能放在芯片内的SRAM里,SRAM的访问延迟比HBM低一个数量级,带宽密度则高出数个量级。官方将其概括为"Fusion内存架构",即HBM(GPU侧)与SRAM(LPU侧)协同,同时利用HBM的大容量和SRAM的超高带宽。

英伟达将这种协同称为"极致协同设计":Rubin GPU与LPU共同计算AI模型的每一层,针对每一个输出Token协同工作,从而大幅提升解码速度。官方给出的量化结果是,Vera Rubin NVL72搭配LPX后,面向万亿参数模型可提供高达每兆瓦35倍的吞吐量提升(对比上一代GB200 NVL72,长上下文、高交互场景),并释放最高10倍的单瓦营收机会。

图2:NVIDIA Rubin GPU与Groq 3 LPU芯片对比图(来源:NVIDIA官方技术博客)。

四、确定性执行:把"电"变成可预测的工程

Groq 3 LPX最具技术深度的创新,不在芯片本身,而在其执行模型与电源工程的联动。

传统加速器采用动态调度,指令执行顺序由硬件在运行时动态决定,电流需求不可预测。芯片设计者被迫预留较大的电压裕度(voltage guardband),以应对最坏情况下的电压跌落,这部分电力在实际运行中大部分是浪费的。由于功耗与电压的平方成正比,10%的多余电压意味着约21%的额外功耗。

Groq 3 LPX的解法是"确定性执行":LPU编译器在运行前生成一份循环级精确的调度表,精确到每一个时钟周期内,哪块数据移动到哪个计算单元、哪个操作在何时执行。调度表覆盖全部256颗LPU芯片。基于这张调度表,编译器可以预测出工作负载在每一个时钟周期的电流需求曲线。

有了可预测的电流曲线,两项电源技术随之落地:

第一,Preemptive Power(PEP,预置供电)。编译器知道哪个周期电流会尖峰,提前给电源传输网络下达调压指令,让电压在需求到达前就开始调整,大幅缩小去耦电容需要补足的缺口,降低电压跌落幅度。

第二,Clock Period Synthesis(CPS,时钟周期合成)。通过Groq 3 LPX的plesiosynchronous时钟系统,编译器可以按需拉长或缩短单个时钟周期。电流尖峰最剧烈的时钟周期被拉长,降低电流上升速率(di/dt),从源头上抑制电压跌落。

英伟达官方技术博客披露,这套组合使电压跌落幅度降低超过60%,使基线供电电压降低高个位数百分比,对应功耗下降可达低两位数百分比,且完全不影响工作负载本身。在电力受限的AI工厂里,省下来的每一瓦都直接转化为可生产的Token数量。

这是推理芯片领域少见的"电源即性能"设计:不是简单地堆算力,而是把电源管理变成与编译器和架构协同的系统工程。

五、Token工厂:AI工厂的商业模式演进

Groq 3 LPX的推出,与英伟达"Token工厂"(Token Factory)叙事深度绑定。

英伟达的判断是,随着行业重心从模型训练转向大规模提供智能服务,基础设施必须从"训练中心"演进为"Token工厂",同时兼顾性能、吞吐量、智能完整性与经济效益。AI工厂的产出物不再是"训练好的模型",而是"高质量的Token流"。

这一商业模式转变有清晰的量化支撑。英伟达将Token按价值分层:免费档的Qwen-3(2350亿参数,3.2万KV缓存Token)、中档的Kimi K2.5(1万亿参数,12.8万KV缓存Token)、高档与超级档的GPT-MoE(2万亿参数,12.8万至40万KV缓存Token)。不同档位对应不同的Token单价,而LPX的价值在于:在同样的功耗下生产更多的高价值Token,把"每瓦营收"做到传统方案的一个数量级之上。

在这个框架下,Groq 3 LPX扮演的角色是"交互性加速器",专门服务那些对响应速度极其敏感的高价值场景:智能体编码(官方称可将任务时间从数小时压缩到数分钟)、实时工具调用、多智能体协作等。

与之配套的网络与存储层也在同步升级。Vera Rubin NVL72整合72颗Rubin GPU、36颗Vera CPU、ConnectX-9 SuperNIC与BlueField-4 DPU,采用NVLink 6交换机构建机架级一致性平台,Scale-out侧由Quantum-X800 InfiniBand与Spectrum-X以太网支撑。Spectrum-X多平面架构允许以太网在不增加网络层级的前提下扩展集群规模,官方称其可将AI网络性能提升1.6倍,并避免第三层网络带来的延迟、抖动与布线成本。

图3:Vera Rubin+LPX每瓦营收10倍对比图(来源:NVIDIA官方产品页)。

六、产业链全景:从七芯片到云服务商的垂直整合

Vera Rubin平台是英伟达迄今最完整的系统级产品,七颗专用芯片覆盖了AI工厂的全部关键环节:Rubin GPU(训练与通用计算)、Vera CPU(强化学习与智能体编排)、Groq 3 LPX(交互式推理)、BlueField-4 DPU(网络与安全)、ConnectX-9 SuperNIC(网络加速)、Spectrum-6 SPX(以太网交换)、BlueField-4 STX(存储)。

围绕这七颗芯片,产业链上下游的落位已经清晰。

上游是芯片与硬件供应链。Vera CPU基于MGX模块化参考架构,单机架集成256颗CPU,可支撑超过22500个并发沙箱环境,用于工具调用、评估、数据处理与编排。台系服务器制造商与全球供应链厂商承担整机量产。整机层面,DGX Vera Rubin NVL72面向企业提供开箱即用的AI基础设施,DGX Rubin NVL8与HGX Rubin NVL8面向训练、推理与后训练场景,Vera Rubin NVL4则通过NVLink-C2C将四颗Rubin GPU与两颗Vera CPU桥接,面向科学计算与智能体AI。

中游是AI云服务商。Nebius将Groq 3 LPX接入Nebius Token Factory生产推理平台,开发者无需迁移技术栈即可获得超快Token生成,首批机架计划第四季度部署;Groq公司将成为平台早期采用者;SpaceXAI则把Vera CPU的部署范围从地面数据中心延伸至轨道卫星。

中游交付正在从"官宣"走向"生产"。CoreWeave在9月30日宣布Vera Rubin NVL72生产规模可用,Cognition成为全球首个生产客户。Cognition的工程团队在9月初完成集群搭建,并执行了首个由客户主导的Vera Rubin推理基准测试:其SWE-2推理工作负载的总Token吞吐量较GB200 NVL72基线提升4.8倍,强化学习工作负载的输出Token吞吐提升3.8倍,意味着同等算力下可支撑更多并发Devin会话,且单会话成本下降、生成速度不损失。CoreWeave同时发布了行业首个实测芯片性能数据,在DeepSeek R1推理模型、匹配交互性条件下,每兆瓦Token吞吐较GB200 NVL72提升10倍。

下游是国家级与企业级AI基础设施。英伟达官方披露,日本政府与产业界联合NVIDIA启动全球首个国家级AI基础设施,部署13750颗Vera CPU与27500颗Rubin GPU,用于国家级物理AI建设。美国能源部公布的"Doudna"超级计算机,同样基于Vera Rubin芯片与Dell液冷服务器,支持超过11000名研究人员。

七、竞争格局:推理芯片的路线之争进入深水区

Groq 3 LPX的量产,让推理芯片市场的竞争格局更加清晰。当前市场存在三条并存的技术路线。

第一条是通用GPU路线。英伟达自身的主流方案,通过HBM带宽与CUDA生态取胜,覆盖从训练到推理的全场景。其优势在于生态与通用性,劣势在于解码延迟与每Token能耗不如专用架构。

第二条是SRAM专用推理路线。Groq 3 LPX是代表,核心逻辑是"权重上芯片",用SRAM超高带宽换取极致解码速度与确定性延迟。其优势在交互性场景,局限在于单芯片SRAM容量有限,需要机架级规模弥补,且对超大模型需依赖DDR5侧承载。

第三条是ASIC定制路线。云厂商自研推理芯片、以及各类NPU,针对特定模型与场景做极致优化,牺牲通用性换取能效。其优势在于单场景最优,劣势在于生态碎片化与迭代成本。

英伟达的策略是"全都要":用极致协同设计把GPU和LPU放进同一个平台,让用户按工作负载特征选择算力组合。这一策略的关键在于,英伟达掌握着连接层(NVLink、Spectrum-X、Quantum-X800)与软件栈(CUDA、DSX MaxLPS),可以确保不同算力单元在系统级协同,而不是简单堆叠。

值得注意的是,英伟达还引入了Factory级的电源管理软件DSX MaxLPS,可在机架之间动态调配电力,官方称其能回收闲置电力,在同一站点电力预算内多部署最多40%的GPU,并提升35%的Token吞吐量。机架级的储能电容与Intelligent Power Smoothing软件则吸收训练与推理的突发功率尖峰,让工厂按持续需求而非最坏峰值规划电力。至此,从芯片、机架到工厂,英伟达建立了一条完整的"电力即算力"优化链路。

八、发展趋势与产业含义

Groq 3 LPX的落地,释放出几个明确的产业信号。

第一,推理正在成为AI算力的主战场。英伟达官方将推理定位为"增长引擎",智能体场景的Token消耗量是传统应用的15倍,推理基础设施的扩容需求将长期存在。算力投资的重心,正从"训练更大模型"转向"服务更多Token"。

第二,交互性成为新的性能指标。传统指标聚焦峰值算力(FLOPS)与吞吐量(TPS),Groq 3 LPX引入的"每瓦Token生成速度"与"确定性延迟"概念,把用户体验纳入了硬件设计目标。这一指标体系的改变,将倒逼整个推理芯片行业重新定义产品。

第三,电源效率取代裸算力成为核心约束。PEP与CPS证明了"可预测的电流曲线"本身就是一种算力优势。在电力受限的AI工厂时代,谁能在每一瓦内产出更多有效Token,谁就拥有成本结构上的长期竞争力。

第四,系统级协同取代单点竞争。七芯片、五机架、从存储到网络的极致协同设计,把竞争从"芯片对芯片"提升为"工厂对工厂"。云服务商的选择逻辑,也从"买哪块芯片"变成"选择哪套AI工厂架构"。

对产业链而言,这意味着三件事:SRAM与高带宽存储的需求结构将分化(交互式推理偏向SRAM,大模型承载偏向HBM);AI云的算力供给将出现"Token质量分层"的差异化竞争;而围绕电力规划、液冷、网络交换与存储的配套产业,将随AI工厂规模的扩大获得持续需求。

英伟达在Hot Chips上展示的,不只是一块新芯片,而是一整套面向智能体AI时代的算力生产范式。Groq 3 LPX的量产,标志着这套范式从蓝图进入交付。接下来的竞争,将围绕"谁的Token更快、更便宜、更可控"展开,而这场竞争的胜负手,早已不在单块芯片的晶体管数量上。


免责声明:本文仅用于芯片半导体领域的技术研究与行业分析,不构成任何投资建议,亦不作为任何投资决策的参考依据。文中信息均基于公开渠道的官方与权威资料整理,具体数据以官方或权威发布信息为准。

张星河

每天一份高质量研报,持续聚焦芯片半导体、AI基础设施、AI智能硬件、具身智能、光通信等硬科技方面的行业研究、产业链分析与技术拆解。欢迎您的关注!

相关推荐
ZEB11061 小时前
AI 转型服务商怎么选?五类机构的能力与适用边界
人工智能
数聚天成DeepSData1 小时前
夜间灯光可以代表经济活动吗?先处理年际一致性
人工智能·深度学习·机器学习·数据集·deepsdata
AllData公司负责人1 小时前
AllData搭建AI中台,集成开源项目LabelStudio/CubeStudio,建设数据标注平台/机器学习平台
数据库·人工智能·机器学习·labelstudio·cubestudio
百胜软件@百胜软件1 小时前
百胜软件黄飞:让AI真正走进零售,把不确定性变成“胜券在握”
大数据·人工智能·零售
高洁011 小时前
数字孪生、具身智能、世界模型三者交叉
人工智能·python·深度学习·机器学习
广州智造1 小时前
Radioss二次开发需要准备什么?
人工智能·算法·机器学习·cad·cae
青春不败 177-3266-05201 小时前
从通量数据到SCI论文——AI-R语言生态系统碳水热通量及其机制分析与论文
人工智能·r语言·生态学·生物多样性·生态系统服务·碳水通量
海盗12341 小时前
微软技术日报 2026-10-15:Defender 下到 Linux 桌面,Copilot 订阅明天改名
linux·人工智能·microsoft·机器人·aigc·copilot
4SAPI1 小时前
官方API、API聚合平台与自建LLM Gateway:三种方案怎么选
大数据·人工智能·gateway·php