三星开发zHBM：内存直接堆叠在AI芯片上

三星正在开发下一代AI内存架构zHBM。与内存位于AI芯片旁边的传统HBM（高带宽内存）不同，zHBM将内存直接堆叠在处理器上，通过直接3D集成和Distributed I/O（分布式I/O）架构，建立更短、更密集的连接，目标是在实现高带宽的同时提升能效。

在AI推理（inference）、reasoning（推理）、长上下文处理以及agentic AI（智能体AI）扩展的背景下，AI系统需要访问和处理的数据量不断增大；生成的token更多、KV缓存（KV cache）更大，对内存提出更高要求。AI系统性能因此不仅取决于计算能力，也取决于数据在系统中移动的速度和效率。提高带宽的同时，还需控制数据传输带来的功耗和热量。

以高密度垂直互连提升带宽

zHBM的一项核心技术，是提高内存与计算之间的互连密度。三星将晶圆对晶圆（Wafer-on-Wafer，WoW）堆叠与混合铜键合（Hybrid Copper Bonding，HCB）结合，在细间距下实现铜对铜直接连接；缩小硅通孔（Through Silicon Vias，TSVs）的尺寸和间距，也能在给定面积内增加更多垂直连接。结合分布式I/O架构，这些高密度互连提高了数据传输并行度，使更多数据可同时移动，从而在不单纯依赖更高单链路数据速率的情况下实现高内存带宽。

以更短路径降低数据传输能耗

直接堆叠缩短了数据需要经过的距离。更短的互连可降低驱动要求，并减轻接口电路的负担。三星正为zHBM探索短而宽的互连架构，减少对复杂接口电路的依赖，降低传输数据所需能量。随着带宽规模提升，这一点更加重要。zHBM的设计目标是在传输更多数据的同时，改善数据移动的能效。

直接堆叠带来的散热挑战

内存与计算更靠近，也带来新的散热问题。当内存直接堆叠在AI芯片上方、热量向上散出时，处理器产生的热量可能需要穿过内存堆叠。三星因此正在探索堆叠高度优化，在内存密度与散热性能之间取得平衡。zHBM的稳定运行要求堆叠结构、互连密度和散热路径一起设计，热管理因此是系统级集成的核心部分。

与AI芯片协同设计

由于zHBM与AI芯片集成更紧密，内存与计算需要从开发早期就一起考虑。每颗AI芯片对性能、功耗、散热和物理尺寸的要求不同，内存带宽、容量、互连位置和堆叠配置也可能随系统架构而变化。若内存与计算独立设计，优化这些要求会更困难。对zHBM而言，协同设计与协同优化因此至关重要：数据接口、供电、堆叠和热管理需要从一开始就共同考虑，以形成针对每个合作伙伴架构优化的方案。

基于集成技术能力的开放合作

这一方法需要跨多个技术领域协调。三星整合了内存、逻辑与代工技术以及先进封装方面的能力。内存技术决定数据如何存储和供给；逻辑与代工技术支持接口实现；先进封装支持3D集成所需的细间距垂直连接和堆叠结构。将这些技术放在一起评估，为围绕系统级需求开发zHBM打下基础。三星计划与客户合作，开发适配其AI芯片性能、功耗、散热和架构要求的zHBM方案，目标是在实际AI系统中共同优化内存与计算之间的连接。

随着AI工作负载变得更复杂，内存与计算需要更紧密地协同。三星表示，将通过zHBM以及与客户和生态伙伴的协同设计，提高数据移动效率，推进面向下一代AI系统的内存解决方案。