MangoBoost与PFN签署MOU 共建AI Token Factory推理架构

MangoBoost于11月18日表示,已与Preferred Networks(PFN)签署谅解备忘录(MOU),双方将围绕人工智能(AI)推理基础设施技术展开合作。

两家公司将对下一代“AI Token Factory(AI词元工厂)”架构进行概念验证(PoC),并探索通过提升AI推理吞吐量、降低延迟来提高系统利用率的路径。

该架构拟将MangoBoost的数据处理单元(DPU)及其他解决方案,与PFN的MN-Core AI推理处理器和AMD图形处理器(GPU)相结合。这一异构计算系统旨在在系统层面优化计算资源、网络与存储。

在该架构中,GPU负责prefill(预填充)阶段,即AI模型处理输入指令;PFN的AI推理芯片执行decode(解码)阶段,生成token(词元)。MangoBoost的DPU、键值(KV)缓存池化存储以及prefill-decode disaggregation(PDD,预填充-解码分离)解决方案将用于优化数据传输和KV缓存管理。

MangoBoost的DPU是一款专用芯片,用于处理AI基础设施中的通信、存储输入/输出和安全处理。结合其KV缓存解决方案,该DPU可降低异构计算环境中与数据移动和内存管理相关的系统开销。

双方将首先在仿真环境中验证该架构。待MN-Core L1000芯片样品可用后,测试将扩展至实际硬件上的性能验证。双方还考虑根据评估结果发表联合研究论文。MOU签约仪式将在SC26上举行;该超级计算会议于当地时间11月15日至20日在芝加哥召开。

新人专享大礼包