英伟达通过 NVLink 构建 Scale up 实现节点内 GPU 互联,节点间通过 IB或以太网实现 GPU 互联。英伟达 GB200 NVL72 将 36 个 Grace CPU 和 72 个GPU 集成到一个机柜中,采用“GPU-CPU NVLink Scale up”的互联方式。NVL72内部采用 NVLink5 和 NVLink C2C 构建 Scale up 网络,提供极高的带宽和超低时延,所有 GPU 可以访问整个超节点其他 GPU 的 HBM 内存和 Grace CPU 的DDR 内存,实现统一内存空间。对于 NVL72 来说,GPU 卡间互联通过 NVSwitch芯片,GPU:NVSwitch 数量比为 72:18(即 4:1)。在更大节点的互联上,英伟达将 8 个 GB200 NVL72 组成一个 NVL576,通过 InfiniBand(IB)或以太网构建 Scale out RDMA 网络实现节点之间的 GPU 互连。