CEVA发布第二代NeuPro NPU:AI吞吐量翻倍,能效提升50%

CEVA于11月2日发布第二代NeuPro神经网络处理器(NPU)产品系列,面向从边缘设备到数据中心的应用,旨在大幅提升AI处理吞吐量和能效。与第一代相比,新产品每平方毫米的AI处理吞吐量最高可达两倍,能效提升50%。

CEVA计划借助该产品家族拓展AI基础设施业务,覆盖AI推理半导体、智能内存和连接芯片。目前该产品线面向部分客户开放早期访问,全面量产供货预计在2027年第二季度启动。

目前已有超过15家客户获得第一代NeuPro授权。CEVA在与这些客户合作的过程中,根据目标AI应用梳理了计算性能、内存带宽、功耗和成本的相对重要性。因此,新产品线提供多种计算引擎,可覆盖常开型低功耗传感器、边缘设备,以及数据中心和其他AI基础设施等应用场景。

该系列所有产品均采用相同的指令集架构(ISA)和通用软件开发工具包(SDK)。客户在将多个NPU集成到单个系统级芯片(SoC)时,可复用既有软件资产。

下一代NeuPro产品线支持的工作负载涵盖基础物体识别与分类、基于Transformer的大语言模型(LLM)、能够理解文本、语音和图像的多模态AI、可自主决策并执行动作的智能体AI(agentic AI),以及Physical AI。该产品线还支持FP4和FP8浮点格式以及混合精度计算,允许灵活降低AI处理精度以提升效率。

在架构层面,新产品可减少内存占用,并降低芯片内部及芯片之间传输的数据量。其新增分页键值(KV)缓存功能,可在对话上下文增长时按独立块管理内存;动态张量形状功能则可处理提示词等频繁变化的输入数据格式,避免性能下降和内存浪费。此外,张量重塑还能提升芯片乘加(MAC)单元的利用率。

面向大型AI模型,该架构支持混合专家(MoE)结构,可选择性地激活适合特定查询的专家计算模型;同时支持线性注意力结构,旨在更高效地分析长序列。