国泰君安海外科技报告对谷歌TPU的训练效率进行了深入剖析。尽管TPUv4单颗芯片BF16算力仅为A100的88%，但凭借3D torus架构、OCS光交换机和全栈软件优化，4096颗TPUv4集群在MLPerf测试中表现比同规模A100高出40%，成本节约35%至50%。最新一代TPUv5e更突破了物理Pod边界，借助Multislice Training技术实现5万卡集群且保持线性加速。TPU正以优异的集群效率重新定义AI训练的性价比标杆。
TPUv4——以集群效率超越GPU单卡优势
TPUv4和A100均在2020年进入部署阶段，均使用7nm工艺制造，是可比产品。TPUv4单颗芯片BF16算力275 TFLOPS，约为A100（312 TFLOPS）的88%。但在集群层面，TPUv4展现出超越单卡指标的实际性能。谷歌系统和服务基础设施副总裁Amin Vahdat表示，平均而言，TPUv4集群在MLPerf测试中的表现比NVIDIA A100高出40%。在成本上，4096颗TPUv4集群和同规模A100相比，可节约35%至50%的成本。功耗方面，MLPerf测试结果显示，在各自由64颗芯片组成的集群中，A100的功耗是TPUv4的1.3倍至1.9倍。TPUv4集群的高效率得益于三大创新：3D torus拓扑结构实现芯片间低延迟互联、OCS光交换机提升吞吐量利用率至50%（无OCS时近0）、以及全栈软件优化。
3D torus + OCS——打破互联瓶颈的创新架构
TPUv4和TPUv5p算力集群均采用3D torus架构和OCS光交换机。以TPUv4为例，每64颗芯片组成4x4x4立方体模块，单个模块包含6个“面”的光路连接，共96条光路连接至OCS，整个超算中心基于OCS实现4096颗TPUv4芯片互联。OCS直接交换光信号，减少了光电转换功耗，在整体系统中功耗占比不足3%，资本开支占比不到5%。在主机可靠性为99%和1000片TPU的情况下，使用OCS的吞吐量利用率达50%，而不使用OCS的吞吐量利用率近似于0。TPUv5p单个Pod进一步扩展至8960颗芯片，互联带宽达4800Gb/s，为大规模模型训练提供了坚实的硬件基础。
Multislice Training——突破Pod边界的软件创新
谷歌提供Cloud TPU Multislice Training全栈服务，支持用户将AI模型训练拓展到物理TPU Pod边界之外。TPUv5e可拓展至5万卡集群，同时保持高效的线性加速性能。以训练一个32B参数的密集LLM模型为例，TPUv5e集群可达53%的MFU（Model FLOPS Utilization）。随着TPU持续迭代，算力成本持续下降。TPUv5e的相对性能（TFLOPS/$）是TPUv4的2.3倍，标价仅1.2美元/芯片/小时。苹果公司披露其云侧AI基础模型在8192颗TPUv4芯片上训练，端侧AI模型在2048颗TPUv5p芯片上训练，验证了TPU在大规模生产环境中的可靠性。
表：TPU集群性能与成本优势| 指标 | TPUv4集群 | A100集群 | TPU优势 |
|---|
| MLPerf性能 | 基准 | 低40% | 高40% |
| 集群成本 | 基准 | 高35%-50% | 节约35%-50% |
| 64芯片功耗 | 基准 | 高30%-90% | 低30%-90% |
| 单芯片标价 | 3.22美元/小时 | 约4-6美元/小时 | 低30%-50% |
