东北大学与爱信开发32MB STT-MRAM AI SoC,OS启动仅65.7毫秒

要点:

  • 东北大学与爱信开发出采用16nm工艺、集成32MB嵌入式STT-MRAM的AI SoC
  • 将OS与AI模型存入芯片内部,通电后65.7毫秒即可启动OS
  • Tiny YOLOv3的AI处理速度提升约10倍,能耗降至传统方案的1/50

东北大学与爱信11月2日宣布,双方已开发出一款采用16nm FinFET工艺、集成32MB嵌入式STT-MRAM的AI SoC。该成果由东北大学国际集成电子学研究开发中心(CIES)中心主任远藤哲郎教授、副主任池田正二教授、李奕副教授、学术研究院安平光雄,以及爱信的成瀬峰信、山田洋等人共同完成,详细成果定于11月1日至4日在台湾新竹市举行的国际半导体集成电路技术会议“IEEE Asian Solid-State Circuits Conference(A-SSCC)2026”上发表。

该系统将OS启动数据与AI模型权重存入非易失性存储器STT-MRAM,从而构建出无需DRAM、SSD等外部存储器的AI处理系统。

从通电到OS启动的时间由传统方式的2535.3毫秒缩短至65.7毫秒;物体检测等AI处理时间也从594.6毫秒缩短至58.5毫秒,整个系统实现了25.2倍的加速。

减少与外部存储器的数据搬运

边缘AI需要在有限的电力与算力条件下高速完成AI处理。传统AI SoC在通电后须先初始化DRAM,再把OS和AI模型权重数据从SSD等存储设备搬移到DRAM中,这种数据搬运正是拉长系统启动时间、拉低能效的主要原因。

同时,随着AI模型不断增大,在处理器与外部存储器之间流动的数据量也持续增加;芯片内部易失性存储器在待机时产生的漏电同样是一大课题。

此次开发的AI SoC采用“近存计算(Near-Memory Computing,NMC)”架构,将断电后仍能保持数据的STT-MRAM布置在处理器和AI加速器附近,并把OS启动数据与AI模型权重收进32MB的片上STT-MRAM,从而减少启动时的DRAM初始化以及来自外部存储器的数据搬运。

集成Arm CPU、GPU与AI加速器

新芯片采用16nm FinFET工艺,集成Arm Cortex-A53双核CPU、Arm Mali-G31 GPU、AI加速器以及32MB片上STT-MRAM等。STT-MRAM同时充当两类存储器:存放AI模型权重的权重存储器和启动OS的启动存储器。

传统方案在通电后必须初始化DRAM,并将bootloader和AI模型从SSD搬移至DRAM;新SoC则直接从STT-MRAM读取OS与AI模型,使从通电到OS启动的时间缩短为原来的1/38.59。

Tiny YOLOv3权重数据量削减53%

AI加速器上实现了用于检测物体类别与位置的AI模型Tiny YOLOv3。为高效利用有限的片上存储器,团队开发出融合8位与16位运算的混合乘法架构,组合16×16位、16×8位、8×8位乘法,在保持16位精度的同时,把AI模型权重数据量从17.7MB压缩至9.36MB,减少53%;表征物体检测精度的mAP仅由0.325降至0.316。

此外,该芯片还采用权重共享技术:在一个4×4的tile内,让同一卷积核的权重在多个时钟周期内重复使用,从而降低数据传输量与本地存储器带宽占用。

AI处理时间缩短至约1/10

传统方案在开始AI处理前,需要先把12MB权重数据从SSD搬移至DRAM。新SoC则直接从STT-MRAM读取所需权重并完成处理,使物体检测所需的AI处理时间从594.6毫秒缩短至58.5毫秒,实现10.16倍加速。

系统级验证表明,用Tiny YOLOv3完成一帧物体检测所需能耗为50.7mJ/frame,与传统方式相比能耗降至约1/50。

面向车载、机器人与常时运行边缘AI

该成果的特点不只在于把存储器放到处理器附近,更在于将AI处理所需的数据与OS本身一并保存在芯片内,从而同时实现高速启动与低能耗。STT-MRAM在断电状态下仍能保持信息,既可抑制待机漏电,也能在通电后立即开始AI处理。

东北大学与爱信表示,今后将进一步提升可供AI处理使用的存储容量、运算性能与能效,并推动相关技术应用于汽车、机器人、工业设备、传感设备等领域。

新人专享大礼包