NVIDIA与韩国扩大主权AI合作 覆盖AI半导体与人才培养

要点:

  • NVIDIA与韩国政府扩大主权AI合作,覆盖AI半导体到人才培养
  • Rebellions下一代NPU将通过NVLink Fusion连接,SK Telecom计划导入
  • 合作还支持韩语AI模型、AI智能体、机器人、自动驾驶和半导体开发

NVIDIA与韩国科学技术信息通信部(MSIT)11月9日宣布,将围绕韩国主权AI(Sovereign AI)生态建设扩大合作,范围横跨AI半导体、数据中心基础设施、基础模型(foundation model)、AI智能体、安全、人才培养和初创企业等。

主权AI是指利用本国数据、基础设施、人才和产业基础,开发并运营反映本国语言、文化、社会及产业需求的AI。此次合作不仅引入NVIDIA的GPU、网络和软件,也将韩国企业开发的NPU、XPU、基础模型和AI服务接入NVIDIA的AI平台。同时,双方将通过NVIDIA的培训与认证项目、黑客松、技术研讨会,培养能够使用AI基础设施的人才。

NVIDIA表示,与韩国的关系始于游戏和电子竞技领域,如今已扩展到AI基础设施、主权模型、代理型AI和物理AI(Physical AI)。公司计划把韩国在半导体、通信、汽车、制造和机器人领域的产业基础,与NVIDIA的加速计算相结合,支持韩国构建AI经济。

韩国产NPU接入NVIDIA AI基础设施

在AI基础设施方面,NVIDIA、Rebellions和SK Telecom将合作建设面向韩国主权AI的计算基础。Rebellions将在下一代NPU“Rebel R200”中采用“NVIDIA NVLink Fusion”,接入NVIDIA的AI平台。SK Telecom计划将搭载Rebellions NPU的系统与搭载NVIDIA GPU的系统一起引入自有AI数据中心。

NVLink Fusion是让非NVIDIA企业开发的自定义XPU或NPU连接到NVIDIA NVLink高带宽、低延迟scale-up网络的基础。其做法是将NVLink Fusion芯粒(chiplet)集成到NPU封装中,再与NVIDIA MGX的计算托盘(compute tray)和机架架构组合,使自有加速器能够进入机架级(rack-scale)AI系统。

把自定义AI芯片引入数据中心,不仅需要芯片设计,还要整备服务器、网络、电力、冷却、管理软件、机架构成和供应链。Rebellions利用NVLink Fusion和MGX,不必从零构建这些环节,而是可以把自有NPU接入NVIDIA已整备的机架级基础。数据中心侧采用共同的MGX架构,也更容易把NVIDIA GPU和Rebellions NPU部署在同一个AI工厂内。

GPU与NPU分担AI推理

大语言模型推理大致分为“预填充(prefill)”和“解码(decode)”:前者一次性处理输入提示,后者按顺序生成回答token。预填充对算力依赖较高;解码则会增加对保存历史计算结果的KV缓存(KV cache)的访问,性能受内存容量、带宽和数据移动效率影响。

SK Telecom拟建设的系统中,NVIDIA GPU负责预填充,Rebellions NPU承担解码。通过解耦推理(disaggregated inference)把工作负载分配到不同计算设备,可发挥各自特点,提高处理性能和电力效率。NVIDIA GPU与Rebellions NPU采用基于NVLink Fusion的共同MGX机架设计,使数据中心设施和机架设计推进的同时,NPU开发也能并行进行。

SK Telecom的目标是提供针对韩语和韩国产业优化的自有模型、面向公共部门的服务以及企业AI等全栈主权AI基础。此次合作可定位为把韩国开发的AI半导体接入韩国AI数据中心和服务。

韩国基础模型用Dynamo优化

建设主权AI不仅需要算力基础设施,还需要适合本国语言、文化和产业的基础模型。NVIDIA将通过韩国政府“AI for All”构想,支持选定的3个联盟和韩国4家基础模型开发企业。模型推理将使用开源分布式推理框架“NVIDIA Dynamo”。

NVIDIA将向SK Telecom的“A.X K2”、LG AI Research的“K-EXAONE 2.0”、Upstage的“Solar Open 2”和Motif Technologies的“Motif-3”提供经Dynamo优化的部署配方(recipe)。

大模型无法由单块GPU处理,需要把模型拆分到多块GPU或多个节点。此时必须把用户请求分配到合适的GPU,并管理GPU间通信和KV缓存,否则无法高效利用算力。Dynamo可管理多节点模型部署、请求分发和GPU间通信等,提高数据中心规模的推理性能。

此次提供的配方包含面向NVIDIA Blackwell世代B200 GPU优化的配置、可复现的部署清单(manifest)和基准测试步骤。NVIDIA称,与在标准配置基础上单独优化相比,从导入时起最高可实现2倍推理性能。模型开发企业可从已验证配置出发,减少多GPU部署和性能调优工作,加快韩语AI服务实用化。

Nemotron数据集支持韩语AI开发

NVIDIA还通过汇集开放模型、数据集和训练方法的“NVIDIA Nemotron”支持韩国基础模型开发。Nemotron不仅公开模型权重,也公开训练数据集、训练配方以及模型开发所用的NVIDIA NeMo库等。各国和企业开发者可把这些开放组件与自有数据、专业知识结合,开发适合当地语言和产业的AI。

LG AI Research将公开利用NVIDIA Nemotron开放数据集开发的“K-EXAONE-2.5”API。该模型开发使用了“Nemotron-Personas-Korea”等数据集;后者由基于韩国政府官方统计制作的700万件完全合成韩国人物画像(persona)构成,用于把韩语表达和韩国固有语境反映到训练数据和评估中。

在韩国,除LG AI Research外,SK Telecom、Upstage、Motif Technologies和NAVER等也在使用Nemotron的模型、数据集、架构和NeMo库。NVIDIA表示,各公司并非使用同一个模型,而是把开放组件与自有数据和技术结合,构建应对韩国语言、文化和产业需求的主权AI。

现代汽车等开发安全AI智能体

在AI智能体领域,Hyundai Motor Group和韩国AI安全企业AIM Intelligence将利用“NVIDIA OpenShell”。AI智能体根据用户指示访问文件、网络、内部系统、API和各种工具,自主执行多项作业;由于指示解释和工具选择交给AI,需要防止未授权操作和机密信息泄露的机制。

OpenShell是在沙箱化环境中运行AI智能体的安全运行时(secure runtime),通过策略控制其可访问的数据、文件、网络、企业系统和工具。Hyundai Motor Group考虑利用NVIDIA NemoClaw蓝图(blueprint)和OpenShell,开发在企业内部安全运行的AI智能体。

AIM Intelligence将把自有智能体控制基础“Starfort”与OpenShell集成。其设想是OpenShell负责运行时访问控制,Starfort检测恶意指示以及可能导致数据泄露的动作。该公司还在考虑公共能源领域的概念验证(PoC),未来拟扩展到企业、制造和机器人等场景。合作不仅提升AI智能体功能,也把在许可范围内运行的安全基础纳入韩国主权AI生态。

三星、Kakao Mobility、LG等推进物理AI

在韩国物理AI领域,Samsung Electronics(三星)、Kakao Mobility、LG Electronics(LG电子)和RLWRLD将利用NVIDIA技术。

Samsung Electronics将在材料研究、半导体工艺和器件设计中引入NVIDIA CUDA-X库与AI物理模拟。在TCAD中,公司将利用加速稀疏矩阵计算的“NVIDIA cuDSS”等,并把GPU应用于半导体工艺和光学模拟。材料研究方面,Samsung的“sMOL”平台利用NVIDIA cuEST,将部分量子化学计算端到端最高加速5倍。公司还考虑利用“NVIDIA cuEquivariance”加速原子级AI模型训练和推理中的张量运算。芯片热与机械分析则使用“NVIDIA PhysicsNeMo”。在一个材料均匀化案例中,AI预测的有效物性值、较粗计算网格和GPU加速相结合,实现了约1600倍加速:原本使用32核CPU和细计算网格约需18小时的模拟,改为GPU和粗网格后缩短至41秒。未来,Samsung还设想利用NVIDIA Agent Toolkit连接模拟工具和AI模型,发展为由AI智能体执行解析并比较设计方案的半导体研发环境。

Kakao Mobility将利用NVIDIA车载计算和安全技术推进L4自动驾驶系统开发。公司将采用车载传感器与计算参考平台“NVIDIA Hyperion”;该平台组合摄像头、雷达、LiDAR、超声波传感器等构成与负责实时处理的“NVIDIA DRIVE AGX Thor”。同时,Kakao Mobility还将使用支持自动驾驶系统开发、验证和部署安全性的框架“NVIDIA Halos”。公司将把在首尔市江南区等地积累的自动驾驶软件和出行服务运营经验,与NVIDIA车载基础结合。初期开发使用Kia的PBV(Platform Beyond Vehicle),目标是未来实现L4出行服务实用化。

LG Electronics在真实制造环境中用其“CLOiD”机器人验证了部件搬运、堆叠和组装等作业。机器人训练使用“NVIDIA Isaac GR00T”,训练数据扩展使用“NVIDIA Cosmos”,机器人上的推理使用“NVIDIA Jetson AGX Thor”;模拟评估则利用NVIDIA Isaac Sim和Isaac Lab等。公司构建了数据飞轮:用Cosmos扩展真实世界收集的数据,训练GR00T,在模拟中评估机器人动作,再部署到Jetson AGX Thor。借此,LG不仅希望实现拿起并放置特定部件的单一作业,还希望机器人动作能扩展到不同物体、环境和条件。

韩国AI初创企业RLWRLD公开了面向产业机器人的基准“DexBench”。DexBench基于NVIDIA Isaac Lab和Newton构建,用于评估机器人在各种产业环境中的操作能力。

从AI半导体到人才,构建五层AI经济

NVIDIA与韩国政府的此次合作并非只是导入GPU提供AI服务。合作把Rebellions的NPU接入NVIDIA AI基础设施,并导入SK Telecom的AI数据中心,从而将韩国开发的半导体嵌入国内主权AI基础;同时利用Nemotron数据集和NeMo开发适合韩语和韩国社会的基础模型,并通过Dynamo优化数据中心规模的推理。

合作还扩展到半导体开发、自动驾驶、机器人和智能工厂等广泛领域,并通过培训、认证制度、黑客松和技术研讨会培养能够运用这些技术的人才。NVIDIA表示,将与韩国企业和政府共同整备AI半导体、AI基础设施、基础模型、应用和人才等多个层级,支持韩国构建能够在本地开发、运营AI并推广到产业的主权AI生态系统。

新人专享大礼包