博通仿真:10公里以上AI集群交换机缓冲需1.5倍BDP
博通(Broadcom)公布的一项缓冲区配置仿真研究显示,当 AI 集群从单栋建筑扩展到跨园区、跨区域部署,链路距离超过 10 公里后,交换机缓冲深度需要达到链路带宽时延积(BDP,bandwidth-delay product)的 1.5 倍,才能让流完成时间(FCT,flow completion time)保持在接近理想值的水平,并把重传率压到零。
AI 训练规模正在超出它起步时所在的那栋楼。随着 GPU 集群分散到不同园区和区域,楼内网络依赖的响应式拥塞控制开始失效。光纤每 10 公里大约增加 100 微秒的往返时延,往返时间因此升至数百微秒,而一个被丢弃的报文让作业停顿的时间,远长于造成丢包的那段时延。博通由此构建了一套缓冲区配置仿真,覆盖 10 公里、30 公里和 100 公里链路、两种拥塞控制协议,以及从 50 MB 到 500 MB 的消息大小,用以确定所需缓冲深度相当于链路 BDP 的多少倍。
测试方法
博通的缓冲区大小扫描设计得尽量简单:跨一条 2:1 超订的长距链路传输纯 DC-to-DC(数据中心到数据中心)流量,不掺入本地流量。缓冲大小从 3×BDP 一路扫到 0.005×BDP,在 10 公里、30 公里和 100 公里下分别独立进行,覆盖两种拥塞控制协议——UEC 默认的 NSCC 与博通自研的 RCCC,每种协议都跑默认参数与调优参数两套配置。另一组扫描把消息大小从 50 MB 变到 500 MB,用来确认该阈值不是某一种消息尺寸的偶然结果。
拥塞来自刻意设置的 2:1 超订,而不是额外的竞争流:长距链路的速率只有发送端端口能力的一半,需求在设计上就超出容量,与缓冲大小无关。这一持续存在的缺口,积起了扫描所要测量的队列。
测试结果
有一项结果在测过的每个距离、每种协议和每种消息大小下都成立:把交换机缓冲配到 1.5×BDP 或更高,流完成时间与理想值的差距保持在几个百分点以内,重传率归零。在 100T 的交换机吞吐下,1.5×BDP 在 10 公里约为 1.9 GB,30 公里约为 5.6 GB,100 公里约为 18.8 GB。低于 1.5×BDP,两项指标同时恶化——先坏的是重传,完成时间紧随其后。在 10 公里、NSCC 的测试中,0.1×BDP 下 50 MB 的流因开销损失了 31.5% 的理想完成时间,重传率为 55.1%。
图 1:在 10 公里、NSCC 下,交换机缓冲从 1.5×BDP 扫到 0.1×BDP 时的 FCT 开销与重传率。在 1.5×BDP 以上,所有被测消息大小的两项指标均为平坦且接近零。数据来自博通内部测试。
博通还把消息大小扫描从 50 MB 扩展到 500 MB(10 公里、NSCC),以确认更大消息下结论同样成立。在测过的 152 种消息大小与缓冲点组合中,重传率随消息增大单调下降,无一例外;在 1.5×BDP 处,该范围内每种消息大小的重传率都是 0%。
范围说明
这组扫描只回答缓冲深度一个问题:单条长距链路上的 DC-to-DC 流量,刻意不加入本地竞争流量。AI 集合通信中典型的多打一(fan-in)突发不在本次扫描范围内。博通预计该阈值在 incast 下同样成立,甚至可能更严格,因为并发发送方只会增加缓冲需要吸收的有效突发量;但这是研究的下一步,不是本次公布的结果。
结论
数据没有歧义:距离一旦超过 10 公里,深缓冲就不是可选项——与拥塞控制协议和消息大小无关,仿真中没有例外。对正在把多站点 AI 集群推向吉瓦级部署的网络架构师来说,这条阈值提供了一条简单可靠的设计规则:在 10 公里及以上配置深缓冲,系统就能撑住。
落到工程实现上,这意味着分层混合缓冲模型:尽可能部署快速、浅的片上缓冲,同时用深 HBM 缓冲作为有针对性的保险,应对可能引发大量重传的拥塞与故障。博通的 Jericho 系列交换机提供这种双层架构,Thor 网卡则在端点侧完成高级拥塞控制。












