医疗影像AI提速5倍,五方联合研发2nm推理专用半导体
要点:
- LSTC等五方启动面向医疗影像AI的推理专用2nm(2纳米)世代半导体开发。
- 项目开发CT影像诊断、超声诊疗、手术实时支援三套系统。
- 目标到2031年实现处理速度达现行GPU的5倍以上、能效10倍以上。
LSTC、北海道大学、富士胶片、GE HealthCare Japan、imec五方于10月20日宣布,其联合申报的“利用推理专用2nm世代半导体的高速低功耗医用图像处理系统研发”已被新能源产业技术综合开发机构(NEDO)的“Post-5G信息通信系统基础强化研发事业/先进半导体制造技术开发”采纳,并举行说明会介绍项目内容。
该项目将构建可在医疗设备内实时运行的推理专用AI基础平台,以应对医用图像高分辨率化和大容量化。对象包括CT图像诊断、超声诊疗和手术影像解析三个领域,目标是解决AI处理带来的功耗与延迟问题。
LSTC理事长东哲郎说明,必须同时开发先进半导体和利用它的应用。LSTC负责连接半导体、AI、医疗设备和临床现场,把先进半导体转化为可在实际医疗现场使用的技术。LSTC将研发、人才培养、国际协作及产学研官协作定位为三大支柱,推进先进半导体与应用共同开发。
医疗AI受限于处理速度与功耗
随着CT、MRI、超声诊断设备、手术显微镜等性能提升,医疗现场产生的图像数据日益高分辨率、大容量。但承担图像处理的GPU功耗大;且涉及患者信息,数据难以发送至院外云;通信带宽和延迟也有问题,因此随着图像高分辨率化,实时处理逐渐跟不上。当前高性能GPU功耗为300至700W,有时也难以内置于医疗设备。
另一方面,临床医疗AI以使用训练好的模型进行推理为主,并不需要大模型训练所需通用GPU的全部功能。因此项目将改用推理处理专用高性能半导体,在医院内或医疗设备内的边缘环境实现高速低功耗AI处理。
北海道大学研究生院医学研究院教授工藤与亮表示,与当前医疗设备搭载的市售GPU相比,目标将图像处理速度提高至5倍以上、能效提高至10倍以上;实际系统功耗计划控制在现行GPU的一半左右。
项目围绕三个主题开发,整体目标是对比现行GPU实现图像处理速度5倍以上、能效10倍以上。
实时图像诊断:CT重建提速至每秒25层
实时图像诊断支援由北海道大学和富士胶片负责。开发高速高画质重建CT图像的AI,以及从拍摄图像中识别全身解剖结构的器官分割AI。下一代光子计数CT(Photon Counting CT)分辨率可达传统约4倍,加上物质分离信息后数据量预计再增加3至5倍。富士胶片计划把CT图像重建处理从现行GPU每秒5层提升到每秒25层。器官分割方面,现行环境识别全身约1000类解剖结构约需25秒,目标缩短至5秒以内,辅助放射科医生阅片和撰写报告。富士胶片设想不仅搭载于CT,也作为医用图像信息系统(PACS)和阅片终端的选项提供;器官分割也可采用院内服务器处理多幅医用图像的架构。
实时诊疗:超声与CT/MRI每秒15帧融合
实时诊疗支援由北海道大学和GE HealthCare Japan负责。开发位置配准AI,将诊疗中获取的超声图像与事先拍摄的CT或MRI图像实时叠加。超声可实时观察器官运动,但呼吸会使器官位置移动,柔软器官形状也会变化,简单叠加会错位。AI将一边持续校正器官移动和变形,一边以每秒15帧叠加图像。主要用途包括肝肿瘤热消融治疗、穿刺活检等。给超声图像加入CT/MRI空间位置信息,有助于把握病变及周边组织位置,也可支援经验较少的医生学习熟练医生掌握的操作技巧。
实时手术:30帧/秒解析手术视频
实时手术支援由北海道大学负责,imec协助将AI模型转换、量化和流水线集成到推理专用半导体。基于北海道大学已开发的脑神经外科手术影像AI,整合手术器械追踪识别、血管和神经等解剖结构自动识别、出血实时检测三项处理。近年手术显微镜支持4K等高精细影像,但用现行GPU在保持分辨率的同时运行多项AI处理,处理速度有时会降到每秒1至2帧。项目目标是构建“手术视频分析AI Box”,在保持高精细图像的同时整合三项AI处理,以每秒30帧实时解析。AI Box为可设置在手术室的小型机箱,设想连接手术显微镜等使用。它可识别器械和器官,在器械接近不可触碰部位时发出警告,并即时检测出血;未来还希望捕捉出血预兆并报警,以支持安全手术。
先用IBM Spyre,2029年后验证2nm芯片
项目周期为2026年9月至2031年9月,共5年,计划于2029年3月进行阶段门评审。阶段门评审前,在GPU环境中推进AI模型训练和算法开发,推理则采用IBM Spyre Accelerator作为先行硬件。IBM Spyre Accelerator由三星电子(Samsung Electronics)以5nm工艺制造,因其开发环境和架构与未来设想的2nm世代推理专用AI芯片亲和性高而获采用。到2029年3月,将三套AI系统实装到先行硬件,完成运行验证和优化;同时基于实测值定量展示迁移到2nm世代半导体后可达图像处理速度5倍以上、能效10倍以上的前景。阶段门评审后,将转向在IBM设计的2nm世代推理专用半导体实机上进行验证,计划到2031年9月实证目标性能,并在北海道大学医院验证临床有用性。
阶段门前的事业费超过60亿日元。虽然以IBM为前提,但2nm世代芯片实际形态仍有很多未知,设计主体和制造地点目前尚未确定。LSTC希望采用日本国产半导体,Rapidus制造也是候选之一。不过,最终是否采用IBM设计、Rapidus制造的2nm芯片,将根据后续开发状况决定。
项目分工与产品化安排
项目由LSTC主导并统括整体。北海道大学作为LSTC准成员,负责研究基础设施建设、AI模型设计与评估、整体统括以及北海道大学医院的临床有用性评估。研发总负责人为LSTC理事长东哲郎,实用化/商业化负责人为LSTC专务代行理事平山照峰,研发副总负责人为北海道大学教授工藤与亮。富士胶片负责实时图像诊断支援,GE HealthCare Japan负责实时诊疗支援,北海道大学负责实时手术支援;imec与北海道大学合作,支持手术视频AI模型向推理专用2nm世代半导体的转换、量化、实装优化等,并将手术支援AI中构建的优化方法和经验,在可适用范围内推广到图像诊断支援和诊疗支援。
项目对象包括AI模型开发、面向推理专用芯片的优化、医疗现场有用性验证,不包括完成后的医疗设备制造销售,也不包括半导体器件本身的开发。富士胶片和GE HealthCare Japan计划通过项目明确产品化所需课题和要求,并在项目结束后应用于各自医疗设备。AI软件认证将在项目期间与开发并行推进;搭载2nm世代芯片的医疗设备认证需在项目完成后取得,两家公司计划项目结束后尽快推进设备认证并争取上市。富士胶片还计划把此次获得的推理优化经验推广到CT和PACS以外的其他医疗设备;GE HealthCare Japan也考虑应用于超声诊断设备以外的多个产品领域。
从医疗场景为国产2nm半导体创造需求
LSTC选择医疗作为此次用途,是因为医疗领域存在希望由AI处理的大容量数据,但受现行GPU性能和功耗制约,医疗现场不得不抑制功能或画质。项目不仅开发先进半导体器件,也同时开发能发挥其性能的应用并创造市场,以避免“造出半导体却没有买家”的局面。半导体业务的基本在于被畅销产品采用;若没有搭载产品,性能再强,市场流通数量也有限,最终因无法盈利而停售的半导体器件,仅从昔日日本厂商来看就有相当数量。此次项目也有避免这种悲剧的意味,并且虽然芯片也可能由Rapidus以外厂商制造,但若由Rapidus制造,还有助于展示Rapidus 2nm工艺性能。项目并非等2nm工艺半导体器件完成后再找用途,而是先在先行硬件上构建医疗现场所需的AI处理,再把需求反映到2nm世代芯片实装中;这种半导体、医疗设备、医疗现场并行开发的方式,可视为从需求侧为日本国产最先进半导体创造用途的尝试。项目中获得的AI模型转换、量化、推理流水线、芯片优化等开发方法,不仅可用于医疗设备,也有望扩展到制造业、机器人、边缘AI等领域,通过横向展开扩大市场。五方希望借助项目为日本国内生产的最先进半导体创造新的社会实装场景,同时提升地区医疗的图像诊断和手术支援水平、降低医疗设备功耗,并增强日本半导体产业和医疗产业的竞争力。












