返回顶部
返回首页 会员充值 我的足迹 返回上一页
具身智能
情绪经济
商业航天
十五五
银发经济

AI集群交换机需求

AI大模型参数持续增长,带动集群规模从百卡、千卡向万卡、十万卡拓展。开源证券报告指出,AI训练集群新增后端网络组网,每台服务器网络端口数量增加,拉动高速交换机需求。RDMA市场2023年提升至60亿美元以上,预计2028年突破220亿美元。NVL576集群中CPO方案较可插拔方案节省9.1kW功耗,30528 GPU集群中CPO方案可节省466kW。CPO交换机在AI时代迎来产业机遇期。

AI集群组网:前端+后端双网络架构

在数据中心里,包括前端网络、后端网络和内部计算网络。计算网络在一个服务器内连接多个XPU,通常使用短距铜缆,协议包括NVLink、Infinity Fabric、PCIe;后端网络用于集群内多个服务器连接,通过XPU的NIC/DPU端口光缆连接,使用Infiniband或Ethernet;前端网络连接服务器至数据中心,使用Ethernet。

AI训练集群带来GPU互联需求,新增后端网络组网。传统服务器与交换机之间通过网卡互相通信;AI服务器比传统服务器新增GPU模组,服务器内部GPU之间通过PCIe Switch或NVSwitch芯片实现内部互联,GPU模组通过网卡与其他服务器互联。相比传统网络架构,AI服务器组网增加每台服务器网络端口数量,拉动高速交换机、网卡、光模块、光纤光缆等组件需求。

RDMA市场快速增长。据650group数据,2021年前RDMA市场规模每年4-7亿美元。2023年因AI/ML部署增长,RDMA需求提升至60亿美元以上,预计2028年突破220亿美元,以交换机设备需求为主。

AI集群拓展:Scaleup+Scaleout双维度

随着AI模型参数持续增长,集群规模从百卡、千卡拓展至万卡、十万卡,通过Scaleup和Scaleout两个维度实现总算力规模提升。

Scaleup:通过提高单个节点内算力规模提升集群算力。服务器层面从8卡GPU模组向16卡、32卡互联拓展;机柜层面从NVL32向NVL72、NVL576拓展,通过高速互联总线互联更多算力芯片,提升单节点算力性能。

Scaleout:通过高速互联容纳更多节点提升集群整体算力。当前机间通信以400G/800G为主,未来向1.6T升级;通过增加交换机端口数量提升GPU节点上限,或从2层胖树组网增加至3、4层架构,从千卡向万卡、十万卡集群拓展。

AI集群规模扩大带来大量高速交换机需求。AI/ML后端网络组网中,交换机是核心设备,端口速率和数量持续升级。

CPO交换机优势:功耗降低、带宽密度提升

CPO交换机AI时代迎来产业机遇期。在光互连不断穿透机架和计算系统的背景下,交换机作为核心网络设备,随着AI集群规模持续增长,对组网架构、网络带宽、网络时延、功耗等方面提出更高要求。

CPO相较于可插拔光模块,带宽密度提升一个数量级,能量效率优化40%以上。以NVL576集群为例,576个GPU、216台交换机、648个1.6T OSFP接口,可插拔方案光互连功率约16.2kW,CPO方案可降至7.1kW,节省9.1kW。进一步以30528 GPU集群为例,可插拔方案互连功耗832kW,CPO方案可降至366kW,节省466kW。

Broadcom TH5-Bailly 51.2T CPO交换机已交付,使光互连功耗降低70%、硅面积效率提高8倍、整机功耗降低约30%。Broadcom正在将CPO技术从交换机拓展到算力芯片。

交换机受益标的与投资逻辑

AI集群规模扩张带动高速交换机需求持续增长。数据中心交换芯片进入每两年翻一番的快速增长阶段,预计2025年有望实现102.4T容量,对应1.6T光口。CPO方案在功耗、带宽密度方面的优势使其成为未来高速交换机的重要技术方向。

交换机板块:推荐紫光股份(交换机整机)、盛科通信(交换芯片)、中兴通讯;受益标的包括锐捷网络、菲菱科思、共进股份、烽火通信、光迅科技等。盛科通信为国内交换芯片龙头,有望受益于国产交换机芯片替代趋势。

CPO交换机长期空间广阔。Lightcounting预计CPO端口销量从2023年5万增长到2027年450万,2027年CPO端口在800G和1.6T出货中占比接近30%。Yole预测CPO市场2033年将达26亿美元。
AI集群CPO方案功耗对比
集群规模可插拔方案功耗CPO方案功耗节省功耗
NVL576(576 GPU)16.2kW7.1kW9.1kW
30528 GPU集群832kW366kW466kW
点击阅读报告原文: 【开源证券】通信行业深度报告:深度拆解CPO:AI智算中心光互联演进方向之一-241231(56页)
相关报告