亚马逊自研AI芯片Trainium2的互联方案是理解AEC在云厂部署的典型案例。东吴证券报告详细拆解了Trn2-Ultra64超级服务器的Scale Up网络架构:4台16卡Trn2服务器通过AEC实现柜间3D Torus互联,每颗Trainium2芯片配套1条AEC,芯片与AEC配比达1:1,单卡Scale Up带宽5120Gb/s(单向640GB/s)。报告指出,AEC与ASIC的兴起有相关性而非因果性,其底层逻辑是云厂自研ASIC使计算与通信解耦,云厂可以自主选择AEC而非英伟达DGX的DAC或光连接方案。
亚马逊Trainium2互联方案中的AEC部署逻辑
Trn2-Ultra64:4台服务器AEC柜间互联,芯片配比1:1
Trn2服务器中每个Compute Tray含2枚Trainium2芯片,8个托盘共16枚芯片。4台Trn2服务器在两个机位上2×2叠放组成Trn2-Ultra64超级服务器。托盘内两枚芯片通过PCB互联;服务器内通过DAC互联;柜间每颗芯片通过2条AEC与相邻服务器中两颗芯片相连,沿Z轴形成3D环绕连接链,实现64颗芯片全互联。Scale Up网络中Trainium2芯片与AEC配比为1:1,单卡带宽5120Gb/s。
ASIC兴起推动计算与通信解耦,AEC获得独立发展空间
英伟达DGX产品将算力与通信产品耦合——GB200 NVL72主要使用DAC做Scale Up连接,GH200 NVL256主要使用光连接。当云厂使用自研ASIC时,计算与通信天然解耦,云厂可以自行选择搭建网络的方式,包括Scale Up网络中使用AEC。同时,当云厂可以拿到充足的HGX等算力模块时,英伟达“计算+通信”一体方案也随之解耦。计算与通信的解耦不仅发生在ASIC上,AEC获得了独立于英伟达方案之外的发展空间。
AEC向柜内渗透的配比测算:B200需4.5支1.6T,Trainium2需3支800G
若AEC向柜内渗透替代DAC:GB200 NVL72中,单枚B200 NVLink带宽单向900GB/s(7200Gb/s),以等效1.6T计,一枚B200需约4.5支1.6T AEC。若Trn2-Ultra64柜内换用AEC,单枚Trainium2带宽5120Gb/s,以等效800G计,一枚芯片需约3支800G AEC。若AEC参与ToR层连接(服务器网卡到交换机),和算力卡配比为1:1。决定配比的关键因素为单卡带宽及交换机层数。
表4:亚马逊Trainium2互联方案核心参数| 参数 | 数值 |
|---|
| 超服务器总GPU数 | 64颗Trainium2 |
| 单卡Scale Up带宽 | 5120Gb/s(单向640GB/s) |
| 柜间互联方式 | AEC(3D Torus) |
| 芯片与AEC配比 | 1:1 |
| 柜内互联方式 | DAC |
| 托盘内互联方式 | PCB |