Reflection 公开 Beam 156 页技术报告：23.8T Token 预训练、10.5K 张 GB300 跑 4 周异步 RL，NVFP4 保留约 99% 分数

核心背景与行业痛点

Beam 权重 10 月已以 Apache 2.0 开放，但开源圈真正缺的是可复用的训练细节。11 月 6 日 Reflection 发布 156 页技术报告，从数据、midtraining、RL 到集群运维全面公开，这在美系开源实验室里少见。

架构亮点与底层机制

稀疏 MoE：52 层（3 层密集 + 49 层 MoE），每层 256 专家、每 token 路由 8 个，不设共享专家；局部/全局注意力 5:1 交错，滑动窗口 512，全局层用 NoPE。预训练 23.8T Token，在 6,144 张 GB300 上不到 4 周完成；两阶段 midtraining 把上下文扩到 1M。后训练是约 10.5K 张 GB300、4 周、超 1 亿条 rollout 的全异步 RL，再用多教师 on-policy 蒸馏合并 Agent 与对齐两位教师。

权威 Benchmark 与实测跑分对比

报告表格（厂商口径）：SWE-bench Verified 81.6%、Terminal-Bench 2.1 80.1%、SWE-Bench Pro v1 66.1%、GPQA Diamond 90.6%、HLE（无工具）36.0%。同表中 GLM 5.3、Kimi K3 在 Terminal-Bench 2.1 为 88.2%、88.3%，Beam 并非全面领先，主打较低推理算力。量化后 FP8/NVFP4 保留 99.93%/98.98% 中位分数。

开发者实战落地与开箱指南

自部署可直接参考第 4.5–4.6 节：NVFP4 面向 Blackwell，DFlash 2（1.93B，草拟 7 个 token）在 4 张 B300 上单请求提速 1.96–3.03 倍、32 并发 1.89–2.75 倍。权重见 Hugging Face。做 RL 基础设施的团队可重点读第 4.4 与第 6 章的异步架构与容错。