谷歌TPUv7与英伟达GB200、GB300的TCO对比

谷歌 TPU 架构服务器以 “专用定制 + 全栈协同” 构建算力核心竞争力，加速崛起，系统级整体设计、部署的灵活性和扩展性占优。谷歌自 2006 年便构思 AI专用基础设施，并于 2015 年第一代 TPU 问世，以脉动阵列架构专为 AI 推理优化，支撑 AlphaGo 等早期 AI 突破；2017 年第二代 TPU 引入 HBM 内存与 Pod 集群概念，实现训练能力跨越；后续通过 v3 至 v6（Trillium）系列持续升级，性能与能效稳步提升，其中 2024 年推出的 Trillium TPU 单芯片性能较前代提升 4.7 倍，能效优化 67%。2025 年最新发布的第七代 Ironwood TPU 更是实现突破，在 FP8 峰值算力、内存容量和带宽上已看齐英伟达 B200，仅与B300 存在差距。TPUv7 基本部署单元“切片”是一个由 64 个 TPU 组成的 4x4x4 3D 环面立方体，对应一个物理机架，内部通过定制的芯片间互联（ICI）网络以 3D 环面拓扑连接，每个 TPU 通过 PCB 走线、直连铜缆或光学收发器连接到其他 TPU。跨切片通信则依赖其大规模部署的光学电路交换机（OCS），旨在减少光电转换并最终替代传统以太网核心交换机，这一方案目前仅有谷歌大规模实施。依托自研 Polymer 光学芯片与 OCS 系统，可实现 9216 颗芯片直连（业界最大），同时实现了极低的扩展网络成本，集群互联能力全面领先。谷歌从一开始就专注于为 AI 负载设计全栈系统，而非优化通用计算。其核心优势在于系统级整体设计，即从微架构到大规模集群网络进行协同优化，这使得 TPU 在性能和总拥有成本（TCO）上具备优势，总拥有成本较英伟达低 40% 以上。