Thinking Machines 公开 Inkling 2 Small 端到端 4 位训练方案：专家层前向全程 NVFP4，预训练提速 8%、RL 提速 20%，594B 模型 68 小时完成预训练

行业背景与痛点

低精度训练能省显存、算得更快，但位数越少，舍入误差越大，误差会随层数和训练步数累积，影响学习。NVIDIA GB300 上 NVFP4 每个值约 4.5 位，矩阵乘算力约 15 PFLOPS，是 MXFP8（5）的 3 倍、BF16（2.5）的 6 倍。难点在于怎样拿到速度又不伤精度。

架构亮点与底层机制

据官方博客（作者 Jack Cook），Inkling 2 Small 只在 MoE 专家层前向用 NVFP4，并配专用内核；反向用 MXFP8，加重量化和随机舍入减少偏差；最后 16.6% 的层保持 MXFP8。前向提速后专家并行通信成了瓶颈，团队先做 32 维随机 Hadamard 变换再量化通信数据。自研 MoE 内核栈代号 BBBK，计算完全确定。

权威 Benchmark 与实测跑分对比

官方数据：相比全 MXFP8，预训练墙钟快 8%，RL 快 20%；预训练计算效率约损失 2%，RL 奖励没有可见差异。官方称数月前同规模模型训练要数周，Inkling 2 Small 在 GB300 NVL72 上 68 小时完成预训练。官方未公布与其他实验室方案的直接对比。

开发者实战落地与开箱指南

这套方案对自训 MoE 的团队最有参考价值：优先量化专家层前向，反向保守用 8 位。博客附可交互的 NVFP4 量化演示和完整公式。想直接用成果，可在 Hugging Face 下载 Inkling 2 Small 的 NVFP4 权重。团队表示正在研究反向也用 FP4，以及在 Vera Rubin 上的新配方。