基于 Blackwell架构的 B200 GPU芯片和 GB200 NVL72服务器可有效提升数据传输效率同时降低能耗,对发展模型的训练和推理助力显著。与 H100 GPU相比,B200 GPU的晶体管数量更多、Nvlink带宽更大、显存更大、显存带宽更快,更适用于训练万亿参数的大模型。据深网腾讯新闻公众号,训练一个 1.8 万亿参数量的 GPT模型,需要 8000张 Hopper GPU连续工作 90天,消耗 15 兆瓦的电力。但如果使用 Blackwell GPU,只需要 2000 张卡,同样运行 90 天只消耗四分之一的电力。并且在推理方面,生成Token的成本也会随之降低。GB200NVL72服务器训练和推理性能相比于等同数量的H100 GPU表现提升 4倍和 30倍,但同等性能下的能耗仅为 HGX H100的 1/25。