谷歌发布第八代 TPU 新成员 TPU 8i Max 与 TPU 8tx：8i Max 双芯封装，算力、SRAM 和 HBM 带宽翻倍；8tx 主打机密推理，同步开源 TPU Sync

核心背景与行业痛点

Agent 工作负载正在改变推理硬件的需求：多个 Agent 同时读整个代码库或几小时视频时，内存带宽成为瓶颈；受监管的企业和政府还要求敏感数据和模型权重在计算过程中也不能暴露。谷歌今年 4 月在 Cloud Next 上发布了第八代的 TPU 8t（训练）和 TPU 8i（推理），这次在同一代里再加两套系统来解决这两个问题。谷歌称 TPU 已有近 100 家客户，包括前沿实验室、交易公司、零售商和高校。

架构亮点与底层机制

谷歌强调这次是新「系统」而不是新芯片：芯片不变，改的是封装、内存、网络和安全配置，所以能在几个月内交付。TPU 8i Max 把两颗 8i 芯片放进同一个封装，算力、SRAM 和 HBM 带宽同步翻倍，机架占地不变。TPU 8tx 用 8t 的芯片，搭配第 5 代 AMD EPYC CPU 主机，在硬件层做机密计算，数据和权重在内存中处理时也保持加密隔离；它还用了为实时推理设计的低延迟 Boardfly 网络，可以在同一套系统上做私有微调、蒸馏和强化学习。

权威 Benchmark 与实测跑分对比

以下全部是谷歌官方口径，暂无第三方实测：8i Max 的算力、SRAM、HBM 带宽是 8i 的 2 倍；8tx 延迟比 8t 低最多 2 倍，性能损失接近零；TPU Sync 让 KV 传输延迟和首 token 时间降低 90% 以上；GKE 动态切片让作业启动最多快 5 倍、故障恢复最多快 4.5 倍。谷歌称其 vLLM + TorchTPU 栈在 InferenceX 和 AgentX 基准上取得领先的性价比，但博客没有给出具体分数。新系统的峰值算力、上市时间和价格官方未公布。

开发者实战落地与开箱指南

对大多数开发者来说，软件更新比新硬件更直接：上个月开源的 TorchTPU 让 PyTorch 和 Hugging Face 模型无需改代码即可在 TPU 上运行，vLLM 和 SGLang 有现成 TPU 后端；新的预览版 TPU Agent 套件可接入 Claude Code、Cursor 和 Antigravity，用自然语言完成 TPU 接入、定位瓶颈和调优内核。已在 GKE 上跑 TPU 的团队可以试用已 GA 的 Cloud Pathways 和动态切片。需要机密推理的团队，可以先关注 8tx 的上市时间和区域，再评估迁移。