在算力接近的情形下,AI 芯片可以通过扩容内存和带宽提升模型训练和推理性能,而内存迭代对 AI 芯片性能的提升可以英伟达 H200 为例。23 年 11 月全球超算大会(SC23)上, 英伟达推 出的 H200 搭载 6 颗 HBM3E,内存达 141GB ,带宽 4.8TB/S。作为 H100(搭载6 颗 HBM3,内存达 80GB)的升级款,H200 依然采用 Hopper 架构和台积电 4 纳米工艺。两者的算力指标基本相同,但在GPU核心数和频率保持不变的情况下,仅通过内存从HBM3向 HBM3E 的迭代,就能实现在 Llama2 和 GPT-3 等大语言模型推理性能 40%-90%的提升