Meta 首次详解训练 Muse Wonder 的吉瓦级超算 Prometheus：预训练有效算力 85%+、RL 90%+，目标扩到约 100 万块 GPU

核心背景与行业痛点

前沿模型训练要几十万块 GPU 同步工作，任何一台主机掉队都会拖慢甚至打断整个任务，有效训练时间（goodput）因此成了算力竞赛的关键指标。Meta 10 月 19 日在工程博客首次披露 Prometheus：位于俄亥俄州 New Albany，两年前还是跑网页流量的普通数据中心，一期已建成并训练了 Muse 系列，包括 Muse Wonder，满配目标约 100 万块 GPU。

架构亮点与底层机制

目前部署两代平台：Catalina 用 GB200 NVL72 的双机柜 Ariel 版本，提前实现每 GPU 800G 横向带宽；Clemente 用 GB300 NVL72，单 GPU 显存从 192GB 提到 288GB，官方称比 GB200 NVL72 性能高 5–10%。第三代 Vera Rubin NVL72 即将到位。网络上，单栋楼 fabric 最多连 20,736 块 GPU，跨楼聚合网络覆盖 2 到 100 多公里。容错上，每个 72 卡机柜只用 64 卡、8 卡热备，配合按数据并行副本隔离故障的 PAFT 和异步增量检查点。

权威 Benchmark 与实测跑分对比

以下均为 Meta 官方口径：Muse Wonder 预训练 goodput 超 85%，RL 超 90%；平均无中断时间约 4.7 万 GPU 小时，固件修复后超过 5.4 万。2025 年年中一期初期，中断峰值接近每 8K GPU 每天 1000 次，一年后下降 99%。官方未公布总算力和建设成本。

开发者实战落地与开箱指南

普通开发者用不上这套集群，但设计思路可以借鉴：大规模训练按机柜而非单卡规划容量，按 2 的幂切片并保留机柜内热备；把故障控制在单个数据并行副本内，让其余副本继续训练；检查点异步写入多级存储，降低对吞吐的影响。做训练平台或推理集群的团队，可以用博客里的 goodput 和无中断时间数字对照自家监控指标。