模拟存内计算加速AI推理:多家企业推进IMC芯片与能效突破

2026年11月10日,模拟存内计算(Analog In-Memory Compute,IMC)正被视为实现AI计算系统每操作约1飞焦(femtoJoule)能效目标的重要路径。该技术把部分计算任务直接在存储器内完成,避免数据在处理单元与存储单元之间来回搬运,从而大幅降低能耗和延迟。

模拟IMC已研发至少十年,采用电阻式、相变式或电容式材料作为存储元件,原因之一是闪存难以随先进制程微缩。AI的兴起带来了新的兴趣:交叉阵列(crossbar array)可以存储神经网络所需的权重。

与数字存内计算把单个权重以多个1和0存储在片上SRAM不同,模拟方案可在单个元件中存储一个权重,并以更快速度读出数据。相比数字方案,这可在显著降低功耗的同时实现更高处理速度,尤其适合权重不常变化的推理任务。

因此,多家初创公司和跨国企业正追逐用于AI推理乃至数据中心的模拟IMC。以色列初创公司Weebit Nano推出带有电阻式存储器交叉阵列的IMC评估板;美国初创公司TetraMem则在推出基于12nm制程的IMC芯片,这是迄今最先进的此类芯片。

EnCharge AI首席科学家Shwetank Kumar表示,AI能效并非单一问题,会因笔记本电脑、数据中心或机器人等部署场景而异,每个场景都需要不同的效率阈值才能释放真正能力。他指出,根本瓶颈是数据搬运:传统架构中数据不断在存储与计算单元间穿梭,把一个32位数字从片外DRAM搬移的成本约是拿它做计算的200倍;在AI负载中,数据搬运占能耗的60%—80%。“我们围绕算术构建了一个产业,而实际成本却由‘递送操作数’的邮政服务主导。”

模拟技术长期面临噪声、精度限制和制造差异等难题。但神经网络本身具有容噪特性,不需要64位精度,且大部分时间用于矩阵乘法,这类操作天然适合映射到模拟运算。研究界也在开发容错方案,以克服模拟器件带来的挑战。

Weebit Nano:ReRAM评估板面向推理和神经形态计算

Weebit从法国CEA-Leti获得电阻式RAM技术授权,并以ReRAM名义授权给多家客户用于非易失存储器应用。目前已有三家客户通过晶圆厂完成芯片流片;德州仪器(Texas Instruments)和安森美(onsemi)均在把该技术移植到自有晶圆厂,用于下一代嵌入式存储器。

最初目标是嵌入式芯片存储,但面向AI的模拟IMC引发显著兴趣,Weebit现已推出评估板供研究人员研究该技术。

Weebit营销与业务开发副总裁Eran Briman表示,IMC多年来已非常重要,显然是AI的下一阶段,也是另一种处理方式。就ReRAM而言,它表现为电阻,因此可利用电导和电压形成乘法与权重矩阵,并在同一条位线上累加,输出已经是MAC结果,无需时钟驱动或搬移数据。他称,这正是相较GPU可看到100倍性能提升的原因。

Briman强调,这并非适用于所有AI,公司聚焦推理,因为推理需要速度,而权重无需频繁更新甚至完全不必更新,因此是非易失存储器的理想场景。

他还透露,过去两三年业界不断要求把其ReRAM用于推理和神经形态计算,这推动公司推出评估板,并将从研究人员处获得大量反馈。研究人员最关注边缘端小模型,这类场景延迟关键,无论是汽车传感器还是工业应用,功耗都极其关键。

他同时表示,公司也希望进入数据中心,但数据中心需要更先进制程节点。“我们还没到那一步,但ReRAM扩展没有困难。”他提到,公司自己针对FinFET的分析结果好于预期,台积电正把其电阻式RAM推进到6nm;但尚未到2nm,仍存在差距,这可能是兴趣集中在边缘而非数据中心的原因之一。此外,数据中心模型更大,要求不同,但该计划对所有应用开放。

目标是开发可供客户授权的IMC设计。Briman称,如果能扩展这项能力,就可从生态中学习,最终把自有IMC产品推向市场,这是最终目标;公司明确不想与获授权方竞争,因此将采取授权模式,不会提供可直接集成的解决方案,而是让客户为其控制器、CPU、GPU或SoC获得授权。至于6nm还是2nm,这些移植由获授权方决定,但属于更后期的事情。

公司为研究人员提供两类套件:面向系统级AI推理研究人员的快速入门套件,以及面向器件表征的评估套件。后者可访问每一个ReRAM单元,直接访问和测量信号,开发编程机制。快速入门套件包含带ADC的FPGA、一块单独的AMD Zync Z板以及10颗封装裸片,用于构建32×32交叉阵列,帮助开发者上手可使用模拟IMC阵列的AI算法和模型。

TetraMem:12nm模拟IMC SoC

TetraMem已基于多级RRAM技术流片12nm模拟IMC系统级芯片(SoC)。MLX300是面向音频、视觉和小语言模型的单芯片加速器,可在片上支持最多6400万个INT4参数,无需外部DRAM存储模型权重。该SoC目标能效超过50—80 TOPS/W,为下一代AI推理带来显著效率提升。

TetraMem首席执行官兼联合创始人Glenn Ge表示,TetraMem架构通过把存储与计算融合在一起,代表了一种全新的AI计算方式。

MLX300的流片相较MLX200/MLX200M是一大跨越,后者采用商业22nm制程。

提供设计工具的Synopsys EDA产品管理与战略高级副总裁Sanjay Bali称,TetraMem在模拟存内计算方面的工作体现了释放下一波AI性能与效率所需的大胆创新。

MLX200采用台积电22nm RRAM,把多级RRAM阵列与混合信号计算引擎集成,在存储器内直接完成向量—矩阵乘法。评估套件预计很快推出,目标应用包括智能手表、健康监测器和AR眼镜等可穿戴AI设备,以及需要本地智能、不依赖云的IoT边缘节点。

TetraMem还与南加州大学和麻省大学阿默斯特分校研究人员合作开发高温RRAM器件,可在高达700°C的温度下可靠工作。这些器件采用石墨烯(Gra)/HfOx/钨(W)忆阻器,在此温度下可靠工作,开/关电流比大于10^3,数据保持超过50小时,耐久性达10^9次开关循环。这将使该技术在嵌入式和数据中心芯片中都能在显著更高温度下可靠运行。

INTERA:全CMOS的PCPC方案

西班牙巴塞罗那的INTERA开发了一种新架构,利用名为可编程电流脉冲单元(Programmable Current Pulse Cell,PCPC)的全CMOS有源电路元件,克服其他模拟AIMC方案的局限。每个PCPC产生代表突触权重的可编程电流,而激活时间编码输入信号;电流幅度与激活持续时间之间的相互作用完成权重与输入的乘法。

这些电荷贡献在交叉阵列中累加,实现高度并行的向量—矩阵乘法。一个关键优势是,这种模拟存内计算完全兼容标准CMOS制造工艺,与依赖新兴存储器件的方案相比,显著降低技术和生产风险。

潜在应用包括数据中心AI处理、边缘计算设备、机器人、自主系统和物联网平台。

EnCharge AI:以电容物理特性实现模拟IMC

EnCharge AI也选择了不同路线。Kumar表示,公司正以模拟存内计算走一条根本不同的路径,利用电容的物理特性在存储阵列内直接执行矩阵运算。与早期模拟方案相比,标准CMOS技术中可用的电容物理特性本质上且极其精确;这不是猜测,而是由20位ADC所证明——这类极精密ADC已在MRI、飞机和汽车等高可靠性应用中使用了数十年。EnCharge的创新在于弄清如何把这种精度扩展到ADC之外,用于AI计算。

去年,公司推出首款AI IMC加速器EN100,面向笔记本电脑和工作站实现该技术商业化。

EnCharge AI首席执行官Naveen Verma表示,EN100代表AI计算架构的根本转变,其根基是经过多代硅开发基础研究去风险的硬件和软件创新。

这是系列芯片中的首款,采用优化架构,在处理AI任务时高效并尽量降低能耗。M.2卡版本在8.25W功耗包络内提供最高200+ TOPS的AI算力;面向工作站的CPCI Express卡可容纳四个加速器,达到约1 PetaOPS。

软件方面,公司提供覆盖不断演化的模型版图的全平台支持,结合专门优化工具与面向PyTorch、TensorFlow等流行框架的高性能编译,以实现最大效率。

EnCharge AI产品与战略高级副总裁Ram Rangarajan表示,EN100的真正魔力在于让合作伙伴轻松获得面向AI推理的变革性效率,帮助他们实现雄心勃勃的AI路线图。对于客户端平台,EN100可把复杂AI能力带到设备端,催生新一代智能应用,不仅更快、更灵敏,也更安全和个性化。

IBM:3D模拟存内计算与边缘PCM

惠普和IBM等公司已研究相关技术多年。IBM研究人员一直在开发面向大型AI模型、采用3D模拟存内架构的可扩展硬件,面向紧凑边缘模型的相变存储器,以及加速Transformer注意力机制的算法创新,并希望把技术从实验室推向芯片。

IBM Research团队的一项新研究称,基于模拟存内计算的芯片特别适合运行前沿的混合专家(MoE)模型,在多项指标上优于GPU。MoE网络某一层中的每个专家都可映射到3D非易失存储器的物理层。通过大量数值模拟和基准测试,团队发现这种映射可在边缘AI应用中运行MoE模型时实现高吞吐和高能效。

首席研究员Julian Büchel表示,把模拟存内计算带入第三维,可确保即便是大型Transformer架构的模型参数也能全部存储在片上。在MoE模型中,神经网络的特定层可拆分为更小的层,每个小层称为一个“专家”,专长处理一部分数据。输入到来时,路由层决定将其发送给哪个或哪些专家。团队把两个标准MoE模型输入性能模拟工具后,模拟硬件表现优于最先进GPU。

领导该团队的研究员Abu Sebastian表示,这样可以更好地扩展神经网络,以更小模型的计算占用部署大型且能力很强的神经网络,同时也能最小化推理所需计算量。

在模拟中,3D模拟存内计算架构运行MoE模型时,相比运行同一模型的商用GPU实现了更高吞吐、更高面积效率和更高能效。优势在能效上最大,因为GPU在存储与计算之间搬移模型权重时牺牲大量时间和能量。

团队还展示了利用相变存储器(PCM)在边缘应用中执行AI推理的可行性:PCM通过硫系玻璃的电导率存储模型权重。更多电压通过玻璃时,材料从晶态重组为非晶态固体,电导率降低,从而改变矩阵向量乘法的数值。

研究员Irem Boybat表示,边缘设备面临能耗、成本、面积和灵活性等多重约束。团队提出了一种神经处理单元,混合使用基于PCM的模拟加速器与数字加速器节点,协同处理不同精度级别。

Boybat称,由于这种灵活架构,多种神经网络都可在这些设备上运行;团队探索了为移动设备定制的Transformer模型MobileBERT。以MobileBERT推理基准衡量,该神经处理单元表现优于市场上现有低成本加速器,并接近部分高端智能手机的性能。

Sebastian表示,这项工作朝着未来模拟存内计算设备可低成本量产、并为AI模型把所有模型权重存储在片上的方向迈出了一步。

该技术已经通过在一颗模拟存内计算芯片上部署Transformer架构得到实现。其矩阵向量乘法操作涉及静态模型权重,精度与数字处理器相似。

HP与港大:面向模拟IMC的容错架构

与此同时,惠普与香港大学研究人员合作,基于惠普忆阻器技术开发了模拟IMC容错架构。这可克服模拟系统对器件故障和变异的内在敏感性——这种敏感性限制了精度和可靠性。现有容错技术包括冗余和再训练,但对许多应用而言往往不够或不可行。

研究人员提出一种无故障矩阵表示,把任意目标矩阵分解为两个可调子矩阵的乘积,并编程到模拟硬件上。这种间接、自适应表示让数学优化能够绕过故障器件,同时消除差分对,提高计算密度。

该基于忆阻器的系统在器件故障率高达39%的情况下,对离散傅里叶变换矩阵仍实现超过99.999%的准确率。它还在无线通信原型中把误码率降低56倍;在大矩阵上,相比最先进技术,密度提高超过194%,能效提高164%。

新人专享大礼包