Microsoft AI 于 2026-10-15 发布技术博客与 PDF,宣布完成自研基座 MAI-Base-2 的预训练:每层 MoE(1 个共享 + 512 选 7 路由专家),80B 激活 / 2.8T 总参,102 层,原生无编码器视觉,50T token 训练混合、知识截止 2026 年 3 月。官方口径:在自建/外包的留出集 BPB 上低于所有参测开源模型,预训练 FLOPs 效率为 DeepSeek-V4-Pro-Base 的 4.2–12.3 倍。模型仍在后训练中,暂无 API、权重或发布日期,微软计划经 Foundry 向受信伙伴授权权重。

核心要点速览

  • ✓规模:80B 激活 / 2.8T 总参,102 层、隐藏维 8704,每层都是 MoE(1 共享 + 512 选 7);MAI-Base-1 为 35B / 1T、78 层、稠密与 MoE 交替(技术 PDF)
  • ✓算力:16k 张 GB200、2026 年 8–9 月共 38 天,平均 MFU 21%(按 BF16 2.5 PFLOPS 归一)、goodput 89%;Muon 优化器步仅占迭代时间 2.1%(165 ms)
  • ✓效率(厂商口径,基于缩放律估算):达到 DeepSeek-V4-Pro-Base 同等 BPB 所需 FLOPs 少 4.2–12.3 倍;相对 6 月的 MAI-Base-1 配方提升 6.3–12.7 倍
  • ✓数据:50T token 训练混合,VLM 数据占 18%(4.5T 唯一 token),唯一 token 比 Base-1 多约 36%,宣称全部为有机数据、不蒸馏其他模型
  • ✓可用性:仍在后训练,无公开 API/权重/日期;计划经 Microsoft Foundry 向受信伙伴授权权重,MAI-Base-3 已在筹备(官方博客)
微软 MAI-Base-2 完成预训练:2.8T 总参 / 80B 激活 MoE,1.6 万张 GB200 跑 38 天,官方称预训练算力效率为 DeepSeek-V4-Pro-Base 的 4.2–12.3 倍
🖼️要闻配图
点击全屏高清查看
🧭

把技术选型换算成你的开发预算

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

微软在模型上长期依赖 OpenAI,自研路线从 6 月的 MAI-Base-1(35B 激活 / 1T 总参)与其后训练版 MAI-Thinking-1 起步,但规模落后于前沿。2026-10-15,Microsoft AI 发布技术博客与完整 PDF,宣布 MAI-Base-2 预训练完成,直接进入万亿参数开源模型所在的重量级。

架构亮点与底层机制

  • 每层 MoE:80B 激活 / 2.8T 总参,102 层,1 个共享专家 + 512 选 7 路由;靠「多轮 dropless MoE」把显存固定、不丢 token,MoE 层 MFU 从 24% 提到 35%。
  • Muon + 激活梯度裁剪:Muon 步只占迭代 2.1%;只裁剪异常样本的激活梯度,比全局裁剪更稳,还顺带揪出了数据预处理 bug。
  • 缩放科学:用「source scaling」让小规模实验也保持同样的数据重复次数,并给出 LR×WD = 17.04/steps 等超参缩放律。
  • 原生视觉:无编码器 VLM,50T token 混合中 18% 为图文数据,知识截止 2026 年 3 月。

权威 Benchmark 与实测跑分对比

目前只有厂商口径的预训练指标:在微软内部代码与外包的 STEM / 数学 / 问答留出集上,BPB 低于 DeepSeek-V4-Pro-Base、Kimi K3、Qwen3.8-2.4T-A95B、MiMo-V2.6-Pro-RL(后三者只有后训练检查点可比);按缩放律推算,配方的 FLOPs 效率为 DeepSeek-V4-Pro-Base 的 4.2–12.3 倍。尚无 SWE-bench 等下游或第三方评测,媒体转述的「对比 OpenAI 基座」来自内部测试,未公开。

开发者实战落地与开箱指南

现阶段不能调用也不能下载:模型仍在后训练,微软计划经 Microsoft Foundry 向受信伙伴授权权重,时间未定。对做预训练/微调的团队,PDF 里的 dropless MoE 调度、(log LR, log LR×WD) 网格扫参、激活梯度裁剪都可直接借鉴;应用开发者建议关注后训练结果与 Foundry 上架公告,再评估接入。

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读vLLM 正式支持 NVIDIA Vera Rubin NVL72:AgentX 上 MiniMax M3 单卡吞吐达 GB200 的 7.84 倍
立即阅读→