OpenAI自研推理芯片Jalapeño性能曝光,每瓦吞吐量超越NVIDIA GB200

在NVIDIA于8月26日发布最新财报前夕,OpenAI正式发布了其首款自研推理芯片Jalapeño。据Tom's Hardware报道,初步基准测试显示,该芯片每千瓦吞吐量比NVIDIA的GB200和GB300机架系统高出1.5倍至1.9倍,端到端延迟则降低1.7倍至3.6倍。除了性能数据外,Jalapeño还可能成为HBM4(第四代高带宽内存)供应链上一个重要的新竞争者。

主要供应商

据Tom's Hardware报道,每颗Jalapeño封装将计算die(裸片)与六个HBM4堆栈结合,提供216 GiB内存和15.4 TB/s带宽。相比之下,NVIDIA GB300配备288GB HBM3e,额定功耗为1400W。报道指出,按额定功率计算,Jalapeño每瓦内存容量大约多出50%。

另据Economy Tribune和TokenPost报道,三星电子据信将为Jalapeño供应HBM4,OpenAI负责架构设计,博通(Broadcom)则担任其ASIC(专用集成电路)合作伙伴。

这一供应可能成为关键制约因素,因为HBM仍是半导体行业最紧张的瓶颈之一。三星、SK海力士和美光已经承诺了截至2027年的产能,报道还称,这种紧缺促使NVIDIA测试削减版Rubin Ultra配置,内存低至192GB。

报道认为,如果OpenAI根据去年10月与博通签署的10GW部署协议扩大Jalapeño的规模,该芯片可能成为HBM4供应的一大新需求方,给已经由NVIDIA占据大量产能的市场带来更大压力。

另一方面,Tom's Hardware报道称,OpenAI第一代Jalapeño采用台积电(TSMC)3nm工艺,这意味着这家ChatGPT开发商在可预见的未来仍将与NVIDIA的Blackwell和Rubin平台在先进晶圆、HBM和尖端封装产能方面展开同一场竞争。

OpenAI已经在加快Jalapeño的路线图。彭博社报道称,第二代芯片可能在数月内流片(tape-out),第三代设计已在开发中。

基准测试的注意事项

虽然Jalapeño以相对较低的功耗实现了强劲性能,但有两个注意事项值得关注。据彭博社指出,它尚未与NVIDIA最近才开始出货的Vera Rubin处理器进行基准对比。该芯片也不是为AI训练设计的,而训练领域仍由NVIDIA主导。Jalapeño的目标是推理——即AI模型在训练后阶段处理提示、生成响应和执行任务的过程。

彭博社援引OpenAI芯片主管Richard Ho的话说,AI芯片通常需要在处理能力和响应速度之间进行取舍,而Jalapeño的设计目标是两者兼顾。报道称,OpenAI将决定哪些AI模型在这款芯片上运行,让客户能够根据自身需求灵活选择更低的成本或更高的性能。

在公开基准测试中,OpenAI在它较小的开源模型之一上测试了Jalapeño,同时还测试了来自DeepSeek和Moonshot AI的第三方模型。36氪指出,包含DeepSeek R1和Kimi K2.5尤其引人注目,这表明Jalapeño不止为OpenAI自家模型而造,还能处理更广泛的各类大模型工作负载。

据Tom's Hardware报道,上述性能是在这款700W芯片与额定功率分别为1200W和1400W的加速器直接对比中实现的。OpenAI表示,Jalapeño在测试期间的实际持续功耗保持在550W或以下,但基准结果是按各加速器公布的封装热设计功耗(TDP)进行归一化处理的。