Google 联合 Meta 开源 TorchTPU：PyTorch 原生跑在 TPU 上，把 .to("cuda") 改成 .to("tpu") 即可迁移，vLLM、SGLang 同步上 TPU 原生后端

核心背景与行业痛点

PyTorch 是绝大多数 AI 应用的默认框架，但它很多特性当初是围着 Nvidia GPU 设计的，导致「换芯片就要改代码」。Google 早在 2020 年就推出 PyTorch/XLA，但它基于 Lazy Tensor，需要侵入式改代码、编译慢、不支持真正的 eager 模式，一直没能让 PyTorch 用户真正迁到 TPU。TorchTPU 是 Google 从 2025 年年中起与 Meta PyTorch 团队重新做的原生后端，目标是让 TPU 和 GPU 一样「开箱即跑」。前一天 AWS 刚发布同类的 TorchNeuron，两大云厂商都在削弱 CUDA 锁定。

架构亮点与底层机制

TorchTPU 作为 PrivateUse1 后端接入 PyTorch 调度器，运行时不依赖 JAX，torch.compile 走 Dynamo 再降到 StableHLO 交给 XLA。eager 有三种模式：默认逐算子异步、调试用同步、以及新的 DeferAndFuse（把多个算子延迟合并编译，官方称可比默认 eager 快 50% 以上）。集合通信在 Process Group 层实现，DDP、FSDP、DTensor 都能直接用；自定义内核可用 Pallas、Tokamax 内核库，或实验性的 Helion DSL。编译缓存分进程、单机、远端三级。

权威 Benchmark 与实测跑分对比

以下均为官方/厂商口径：约 4,917 个热门 Hugging Face 模型中 98% 可无报错运行，97% 的架构代表模型与 GPU 数值一致；Qwen3 MoE 235B 在 64 颗 TPU v7 上 1,828 TPS，对比 JAX/MaxText 1,937 TPS，扩到 8,192 颗时 MFU 仍约 27%；Google Cloud 博客称 Qwen 3 8B 训练 MFU 最高 52%。推理方面，Google 转引 SemiAnalysis InferenceX：TPU v7 加 vLLM-TorchTPU 在 8K/1K 场景每百万 token 2.01 美分。暂无第三方对 TorchTPU 与 CUDA 的同条件独立对比。

开发者实战落地与开箱指南

在装了 TorchTPU wheel 的 TPU 机器上，把 device 设为 "tpu"、process group 后端设为 tpu_dist 即可；也可用 torch.accelerator.current_accelerator() 写成 GPU/TPU 通用代码。Hugging Face Transformers v5 里传 device_map="tpu" 就能部署；推理用 vllm-torchtpu 或 sglang-torchtpu。想让编码 Agent 帮忙迁移，可试预览版 TPU agent suite（支持 TPU v6e、TPU7x），它以插件形式接入 Claude Code 等工具，执行命令前需人工批准。注意官方提醒：简单改设备只保证能跑，峰值性能仍需针对 TPU 调形状、切分和内核。