Groq拟在下一代AI芯片采用3D堆叠DRAM，提升片上内存容量
随着AI工作负载对内存容量提出更高要求，芯片厂商正在探索传统内存架构的替代方案。据ZDNet报道，行业消息人士称，已将推理技术授权给英伟达的AI芯片公司Groq，正考虑在下一代芯片中采用3D堆叠DRAM。Groq当前以SRAM为核心的设计速度快但容量有限；若转向3D堆叠DRAM，可能显著提升片上内存容量。
报道指出，Groq正在探索3DS（3D Stacked Memory，3D堆叠内存），该技术利用硅通孔（TSV）将DRAM裸片垂直连接。3DS与高带宽内存（HBM）都依赖TSV，但侧重点不同：HBM追求高数据传输速度，3DS则旨在提升内存容量，同时保留传统DRAM接口。
英伟达的Groq 3 LPX是一款机架级AI推理加速器，面向其Vera Rubin平台上的低延迟、大上下文工作负载而设计。据英伟达介绍，每个Groq 3 LPU集成500MB SRAM，片上内存带宽为150TB/s；一个完整的LPX机架组合256个LPU，可提供128GB SRAM和40PB/s的聚合SRAM带宽。
然而，SRAM容量的增长难以跟上AI模型的扩张。据36Kr援引d-Matrix CEO Sid Sheth的说法，SRAM容量每两年仅增长约10%至20%，而AI模型规模可能每六到九个月翻一番。这一不断扩大的差距，使单靠SRAM越来越难以满足日益增长的内存容量和带宽需求。
值得注意的是，英伟达现有的Groq 3 LPX平台已经将SRAM与常规DRAM结合。据该公司介绍，每个机架除128GB SRAM外，还提供12TB DDR5内存。
三星代工Groq 3，下一代代工竞争初现
在制造方面，据《首尔经济日报》（Seoul Economic Daily）报道，三星代工（Samsung Foundry）在其平泽工厂采用4nm工艺生产英伟达的Groq 3 LPU。三星高管曾在6月表示，公司正与英伟达就下一代Groq LPU的代工合作进行讨论。与此同时，据《经济日报》（Economic Daily News）报道，台积电董事长魏哲家（C.C. Wei）在公司4月财报电话会议上表示，台积电正与客户合作开发下一代LPU。
Cerebras也寻求将3D堆叠DRAM用于AI推理
Groq并非唯一探索面向AI推理的更高容量内存架构的公司。另一家高度依赖SRAM的AI芯片公司Cerebras也在推进3D堆叠DRAM。据该公司介绍，其未来的CS-6系统将把堆叠DRAM与晶圆级SRAM及计算单元集成，以在保持快速数据访问的同时显著扩展内存容量。
