SemiAnalysis 披露 Google 与 Inferact 首份 TPUv7 评测：TorchTPU vLLM 大核驱动 2.8T Kimi K3，高交互吞吐力压 GB200 NVL72 与 B300

核心背景与行业痛点

随着 2.8T 规模参数的超巨型混合专家（MoE）智能体模型（如 Moonshot Kimi K3）成为生产级 Agent 推理主力，算力集群的推理总拥有成本（TCO）与单用户并发交互速度（Tokens/s per user）构成了核心矛盾。在实时交互式编码智能体中，开发者需要高达 200~400 tok/s 的流式响应以避免思维打断，而现有英伟达 B200/GB200 NVL72 集群在极高并发交互区由于通信开销与显存带宽饱和，每美元产出的 Token 量剧烈衰减。SemiAnalysis 独家披露了 Google 与 Inferact（vLLM 商业化团队） 联手打造的 首份 Google TPUv7 官方推理性能提报（InferenceX Preview）。

架构亮点与底层机制

1. 硬件成本端显著优势（Chip-Hour Cost）：

• 根据 SemiAnalysis 披露的大型云厂商规模采购 TCO 测算，Google TPUv7 单芯片时租仅为 $1.21 / 小时，相比 AMD MI355X（$1.50）、NVIDIA B200（$1.73）、GB200（$1.86）、B300（$2.26）以及顶级 GB300（$2.31），具备压倒性的单位硬件成本优势；

1. TorchTPU vLLM 巨核与 TPU-Sync KVCache 库协同：

• 由 vLLM 核心作者 Jeff Ma、George Novack 牵头，采用 TorchTPU vLLM 深度融合架构，针对 TPUv7 的矩阵乘法单元（MXU）编写了端到端 Fused Megakernel，并引入 TPU-Sync KVCache 跨节点显存传输与分离式预填充/解码（PD Disaggregation）卸载机制，彻底打通了 PyTorch/vLLM 生态在 Google 自研 TPU 上的高性能落地通路。

权威 Benchmark 与实测跑分对比

在 SemiAnalysis 发布的 “Kimi K3 2.8T Agentic Total Tokens per $1 TCO vs. P90 Interactivity” 权威曲线中：

• 超高交互区间性能反超（~390 tok/s per user）：
• 在每秒 390 Token 的高交互极限工况下，TPUv7（vLLM）产出达 约 2.2M Tokens / $1 TCO，全面超越 NVIDIA GB200 NVL72、B300、B200 以及 AMD MI355X；
• AMD MI355X 交互极限在 130 tok/s 处饱和截断，NVIDIA B300 在 270 tok/s 处饱和截断，而 TPUv7 可顺畅支撑高达 400 tok/s 的单用户并发流式输出；
• GB300 NVL72 对标态势：
• 虽然 GB300 NVL72 在低交互（25 tok/s）工况下以 31M Tokens/$1 领先，但在 400 tok/s 极高交互区（~2.5M Tokens/$1），TPUv7 凭借仅为其一半的单芯片成本（$1.21 vs $2.31）实现了极具竞争力的平替性能；SemiAnalysis 指出在后续结合更优 PD 分离比后，外部客户成本维度亦有望对标 GB300。

开发者实战落地与开箱指南

• 开源生态意义：该评测标志着 vLLM 已成为跨越 NVIDIA（CUDA）、AMD（ROCm）与 Google（TPU）三大异构计算体系的通用统一服务层；
• 多云多架构部署建议：对于自建大规模 Kimi K3 2.8T 或开源巨型 MoE 服务的企业，无需再被单一硬件厂商绑定。通过采用最新的 TorchTPU + vLLM 镜像，开发者即可在 Google Cloud TPUv7 Pods 上无缝迁移运行大模型推理集群，并在高交互 Agent 场景下取得极为可观的 TCO 降本回报。