兴业证券2024年8月发布的AI网络深度报告指出，Scaling Laws驱动下，超节点内部带宽升级优先级更高。英伟达GB200方案+NVLINK协议将超节点规模从GH200的256张GPU升级至576张，单卡总带宽达1.8TB/s。本文基于报告核心数据，深度解析Scaleup超节点互联的技术演进与铜互联产业链机遇。
超节点规模升级：英伟达GB200从256卡升至576卡，谷歌TPU达8960卡
超节点是多个GPU互联的节点。英伟达GH200阶段超节点互联上限256张GPU卡，GB200阶段升至576张，单卡拥有18个NVLink 100GB/s连接，总带宽1.8TB/s，较H系列翻倍。NVL72方案互联总带宽达130TB/s。谷歌TPU v4p超节点规模4096颗，TPU v5p达8960颗。UALink联盟1.0阶段目标连接1024个AI芯片（对标NVLINK），成员包括AMD、英特尔、谷歌、微软、博通、思科、Meta、HP等八家科技巨头。
表2：超节点互联规模对比| 方案 | 超节点规模 | 互联带宽 | 互联协议 |
|---|
| 英伟达GH200 | 256张GPU | — | NVLink |
| 英伟达GB200 | 576张GPU | 1.8TB/s单卡 | NVLink 5.0 |
| 英伟达NVL72 | 72张GPU（单机柜） | 130TB/s | NVLink |
| 谷歌TPU v4p | 4,096颗 | — | ICI |
| 谷歌TPU v5p | 8,960颗 | — | ICI |
| UALink 1.0 | 1,024个AI芯片 | — | UALink |
分布式训练驱动Scaleup带宽优先升级，张量并行通信需求最高
AI大模型训练采用混合并行策略（数据并行DP、流水线并行PP、张量并行TP）。张量并行在机柜内部完成，需多次AllReduce同步，通信量约100GB级，对带宽需求最大。流水线并行通信量约100MB级，数据并行约10GB级。机柜内部进行张量并行（利用NVLINK），机柜间进行流水线并行和数据并行。随着模型规模增大，超节点内部带宽需求快速提升，做大超节点规模成为趋势。
NVL72铜互联方案：约5000根铜缆，驱动铜连接市场需求爆发
英伟达GB200 NVL72架构：单机柜互联72颗GPU，18个计算托盘（每托盘2个GB200，每GB200 2颗GPU），9个交换托盘（每托盘2个NVSWITCH交换芯片）。采用NVLink协议完成72颗GPU互联，NVLink带宽升级到5.0，交换带宽14.4TB/s，采用约5000根铜缆连接。NVLINK持续升级——当前NVLink 5.0（100GB/s每通道），未来Rubin系列将搭载NVLink 6.0（速度翻倍至3600GB/s）。短期铜主导Scaleup互连，长期带宽升级后铜缆传输距离限制或推动光互联方案替代。
OIF铜连接标准持续缩短，224G时代铜缆距离或缩减至1米
铜缆传输电信号存在信号衰减问题，传输距离越远损耗越大。网络带宽升级使单链路信号速率从56Gbps升至112Gbps并向224Gbps演进，链路损耗加速增加，铜缆连接距离不断缩短。OIF 112G规范将铜缆最大长度从56G时代的3米缩减至2米，224G时代预计进一步缩短至1米。112G甚至224G阶段，可通过更改交换机位置、紧凑服务器设计减少铜缆距离要求，将铜缆从无源铜缆DAC向有源铜缆（AEC、ACC）升级延长互联距离。但铜缆物理限制下，光互联（高带宽高速率长传输距离）有望长期替代铜互联方案。
