从内存墙到zHBM:三星解析HBM如何支撑AI芯片演进
三星半导体发布技术专栏系列文章《AI与AI芯片的演进,以及为其供力的HBM》的第一部分。文章从AI芯片架构、内存墙、带宽与容量的区别讲起,梳理HBM(高带宽内存)出现的原因与技术路径,并介绍了正在开发中的zHBM:把内存直接堆叠在计算芯片之上。
从单颗芯片走向系统级AI架构
AI芯片是专为高效执行AI训练与推理而设计或使用的半导体。GPU与AI专用ASIC是其中的代表,CPU通常负责数据预处理、工作负载调度与系统管理。
GPU在AI领域被广泛采用,原因在于其高度并行的架构原本用于同时处理大量像素,这一特性同样适合深度学习的核心运算——矩阵运算。
但GPU的效率随负载而变化。大批量训练负载可以充分利用并行计算资源;而部分推理负载以逐个生成token的方式进行,未必能用满这些资源。在小批量解码(decode)阶段,内存带宽可能成为关键的性能约束。
AI专用ASIC则通过为目标负载优化硬件来应对这些需求,重点在于提升特定运算的性能与能效,实际收益取决于模型与系统架构。
| 类别 | 核心架构 | 通用性 | 效率与功耗 | 典型用途 | 在AI中的角色 |
|---|---|---|---|---|---|
| CPU | 面向复杂指令的高性能核心 | 高 | 在控制与串行任务上高效 | 操作系统与通用计算 | 数据预处理与工作负载管理 |
| GPU | 大量面向并行处理的简单核心 | 中 | 并行负载下效率高 | 图形与科学计算 | 广泛的AI训练与推理 |
| ASIC | 面向目标运算的专用核心 | 低 | 特定负载下效率高 | 专用计算 | 特定负载的AI训练与推理 |
CPU、GPU与ASIC一览
AI GPU本身也在演进,加入更专用的矩阵计算单元并支持多种数值精度格式。同时,性能优化正从单颗芯片扩展到机架级(rack-scale)架构,将GPU、CPU、内存、高速互连、供电、散热与软件整合在一起。
要充分利用加速器的算力,数据必须在该到位的时候到位。这也是随着AI系统演进,内存变得愈发重要的原因。
处理器为何等待数据
AI运算需要模型权重以及执行过程中产生的数据。如果内存供给数据的速度跟不上处理器性能,算力资源等待的时间就会超过计算的时间。这种失衡通常被称为“内存墙”(memory wall)。
同样的问题也出现在大语言模型推理中。处理输入token的prefill(预填充)阶段与逐个生成token的decode(解码)阶段具有不同的计算特征。在decode阶段,尤其是批量较小时,模型权重与KV cache(键值缓存)数据的读取速率可能显著影响响应时间。
KV cache保存由先前token计算出的键与值,供生成后续token时复用。随着上下文长度增长与并发请求增加,需要存储和供给的数据量也随之上升。
内存有两项特性尤为关键:带宽与容量。带宽是单位时间内可传输的数据量,容量则是可存储的数据量。
可以把处理器看作工厂,把内存看作附近的仓库。带宽是两者之间道路的运力,车道越多,一次能运送的货物就越多;容量是仓库的大小,存储越多,就能把更多物料放在工厂附近,减少去更远处取料的次数。
AI系统面对的是同一个问题:既要有足够的近端内存容纳工作数据,也要有足够的带宽把数据高效送到处理器。
理解内存带宽与容量
HBM为数据打开更宽的通路
GPU传统上使用GDDR提供高内存带宽。GDDR的每引脚数据速率高于传统DDR,适合早期基于GPU的AI负载。
但随着AI模型变大,系统需要同时扩展带宽与容量。GDDR器件围绕GPU布置在电路板上,增加内存需要额外的空间与布线;提高每引脚速率又会加重功耗、散热与信号完整性方面的挑战。
GDDR仍在持续演进,但在紧张的功耗与空间约束下满足不断增长的数据需求,需要另一种路径。
HBM通过把垂直堆叠与宽I/O接口结合来应对这一挑战。多颗DRAM die堆叠在一起,通过硅通孔(TSV,Through Silicon Via)连接,使大量数据可以并行传输。
- 宽I/O带来高带宽:HBM提升带宽不只依靠更高的数据速率,还依靠大量并行的I/O连接。这使得它在每引脚速率低于GDDR的情况下仍能实现高总带宽。
- 垂直堆叠带来更高容量:垂直堆叠DRAM die可在有限占位内提供更大容量。把更多模型权重与KV cache数据留在加速器附近,可以减少对更慢存储层的访问以及由此产生的延迟。
- 更短连接带来更高能效:HBM借助中介层(interposer)等技术被放置在AI芯片附近。更短的数据路径有助于降低信号损耗和数据传输所需的能量。结合宽并行接口,无需只依赖极高的每引脚速率即可实现高带宽。
- 更小占位下的高密度封装:与并排放置多颗内存器件相比,垂直堆叠减少了所需面积。结合基于中介层的2.5D封装,多组HBM堆栈可在单一封装内靠近AI芯片布置,在有限空间内实现密集的I/O连接。
HBM由此同时应对带宽、容量、能效与空间效率四方面的问题。这些特性使它成为高性能AI芯片(包括GPU与AI专用ASIC)的关键内存技术。
HBM随AI一同演进
每一代HBM都提升了带宽与容量,使更大的模型与更长的上下文成为可能。与此同时,需要存储和搬运的数据量也在持续增长。
推理与reasoning两类负载的扩大,进一步增加了读取模型权重与KV cache数据的需求。随着AI需求变化,即便内存性能在提升,内存瓶颈仍可能再次出现。
因此HBM既通过新世代推进,也通过对现有世代的持续优化推进。带宽可以通过增加内部数据通路来提升,容量可以通过提高堆叠层数——从8层到12层、16层——以及更高密度的DRAM die来扩展。
先进DRAM工艺与基于先进逻辑工艺的base die,也为改善能效提供了新的空间。
HBM的演进
下一个挑战:更高效的连接
提升数据搬运效率的一条路径,是缩短内存与计算之间的距离。更短的连接可以传输更多数据,同时降低搬运数据所需的能量。
三星正在开发的zHBM把这一思路推得更远:不再把内存放在GPU或AI专用ASIC旁边,而是将内存直接堆叠在计算器件之上。
通过把直接3D集成与密集并行互连结合,zHBM旨在缩短数据路径、提升内存与计算之间的连接密度。其架构还纳入了直接堆叠带来的散热考量,把数据搬运作为系统级优化问题来处理。
系列文章第二部分将介绍zHBM如何利用高密度垂直互连、更低的数据搬运能耗与散热管理技术来应对下一代AI需求,以及三星的整合技术能力如何支撑与客户及合作伙伴的协同设计。












