Hugging Face 发布 Ultimate MoE Training Handbook:约 50–80 万 GPU 小时实验沉淀为 Megatron-LM 训练手册
2026-11-05,Hugging Face 发布免费「The Ultimate MoE Training Handbook」。Thomas Wolf(联合创始人)称约 80 万 GPU 小时、约 7 万字与 55 幅交互图;作者 Nouamane Tazi 另称约 50 万 GPU 小时。手册面向 Megatron-LM,覆盖路由、专家规模、通信与调试,入口为官方 Space。
核心要点速览
- 官方:Hugging Face Space「The Ultimate MoE Training Handbook」(2026-11-05)
- Thomas Wolf(HF 联合创始人)X 口径:约 80 万 GPU 小时、约 7 万字、55 幅交互图
- 作者 Nouamane Tazi 另称约 50 万 GPU 小时;以 Space 正文为准,不统一编造单一数字
- 覆盖 Megatron-LM:路由/专家规模/all-to-all/aux loss 与 loss-free bias/升采样与服务
- 免费开源;适合小团队按 runbook 逐项对照日志落地








